자율주행 QA 에이전트 도입 검증 중
1~2일 → 2시간지시 한 문장이면 시나리오 생성→실브라우저 실행→버그 판정→JIRA 등록까지 자동으로 돕니다(사람 개입은 승인 게이트 1곳). 이 엔진으로 생성형 AI 제품 두 개의 출시 QA를 혼자 동시에 커버했습니다.
Workflow · Automation · AI
사용자 관점에서
사용자 관점에서
진짜 문제를 풉니다
정세윤AX · AI Solutions Engineer
현업이 실제로 막히는 자리를 찾아, AI가 할 일과 사람이 할 일의 경계를 긋습니다. 모델을 바꾸는 대신 워크플로우를 바꿔, 한 달간 풀리지 않던 AI 출력 품질을 개선했습니다.
- Emailseyunjeong2025@gmail.com
- GitHubgithub.com/SeyunJeong ↗
- LinkedInseyun-jeong ↗
- StatusAX · AI 솔루션 포지션을 찾는 중
⚡ Shipped & Running
배포해서 살아있는 것들
직접 설계·구현·배포해 지금 돌아가고 있는 시스템들.
MCP 서버 2종 사내 배포
npx 원커맨드슬랙 조회 MCP(slack-mcp) · 프로덕션 API 내장 MCP — 직접 구현해 배포한 뒤, 팀 누구나 설치해 쓰는 사내 표준으로 만들었습니다.
pm-dashboard 사내 운영 중
월 약 20시간 → 일원화지라와 스프레드시트로 이중 관리되던 11개 서비스 현황을 대시보드 하나로 합쳤습니다. 자연어로 묻고 회의록은 자동 요약 — NCP Docker + Vercel에 직접 배포해 운영 중.
Personal Projects
박곰희TV PWA Vercel 배포
투자 유튜브 커뮤니티 웹앱 — 시장지수·정책뉴스를 Supabase Edge Functions + GitHub Actions로 매일 자동 수집.
MorgenAI 2026.5까지 수집 운영
AI 뉴스·논문·사용사례를 매일 수집해 한국어로 요약·큐레이션한 뉴스 사이트 — Next.js + Supabase, 수집은 GitHub Actions 크론. 현재 수집은 중단, 사이트는 열람 가능합니다.
LinkNote
링크를 공유하면 AI가 요약·태그·분류까지 해주는 앱 — Expo RN + FastAPI, 스토어 등록 준비.
채용 알림 봇 GHA 가동 중
원티드 공고를 수집·분류해 신규만 텔레그램 알림 — 요구역량 빈도 분석으로 이 포트폴리오의 방향도 여기서 나왔습니다.
Python · GitHub Actions
Findmyself
AI와의 소크라테스식 대화로 '동사형 자기정의'에 도달하는 앱 — Claude API + FastAPI, 개발 중.
개발 중
Case Studies
문제 → 접근 → 결과
각 시스템이 누구의 어떤 문제를 풀고, 무엇을 아꼈는지.
생성 품질 기준 설계 · 다차원 채점기
모델이 아니라 기준Problem framing · Design · Implementation — 재직 중 사내 제품(SNS 콘텐츠 생성 AI) 대상 · 구축 중
AI가 쓴 글의 품질이 한 달 넘게 오르지 않았습니다. 모델을 바꾸고 파이프라인을 다시 짜도 지표가 움직이지 않았죠. 원인은 모델이 아니었습니다 — "좋은 글"이 무엇인지 정의된 적이 없었습니다. 합격선이 없으면 어떤 수정도 개선인지 알 수 없습니다.
짝비교 토너먼트더 나은 쪽 선택→
기준 역산선호 → 축→
품질 4축 분해기하평균 결합→
LLM 판정기evidence-anchored rubric→
사람 정답 캘리브편향 보정→
회귀 채점
문제
- 생성 결과 품질이 한 달 넘게 개선되지 않음. 모델 교체·파이프라인 재구성 등 기술적 시도가 이어졌지만 지표가 움직이지 않음
- 기존 채점기는 "문장이 어색한가" 이진 Pass/Fail — LLM 판정기 특유의 관대·중앙수렴 편향으로 점수가 후하게 뭉치고, 런마다 출렁여 배포 간 비교가 불가능
- 단일 축이라 논리·의미·설명·도메인 결함을 통째로 놓치고, 이진이라 개선이 점수에 나타나지 않음
접근
- 선호에서 기준을 역산: "좋은 글의 기준이 뭐냐"엔 아무도 답하지 못하지만 "둘 중 뭐가 낫냐"엔 답할 수 있습니다. 같은 분야끼리 짝지어 붙이는 토너먼트 UI를 직접 만들어 선호를 모으고, 그 선택에서 축을 도출
- 품질 4축 분해: 자연성(바닥) · 인사이트 · 대화성(천장) · 충실도(게이트)를 따로 재고 기하평균으로 결합 — 한 축만 잘해선 고득점이 안 나오도록
- 자연성 내부를 6개 결함 차원(논리·사실 / 의미명료 / 설명충분 / 도메인어휘 / 표현자연성 / 구조·군더더기)으로 다시 분해
- 판정기 편향 보정: evidence-anchored 잠금 루브릭 + 사람 정답 캘리브레이션. AI 평가 연구(FLASK · G-Eval · Prometheus · 판정편향)를 근거로 설계
결과
- "자연성 ≠ 품질"을 데이터로 확인 — 자연성 점수가 가장 높은 글이 품질은 최하였습니다(내용은 공허하고 대화가 열리지 않음). 축을 분리하자 왜 나쁜지가 보이기 시작했습니다
- 쪼금의 개선도 점수로 드러나는 다차원 채점기 v1 구축 — 현재 고도화 중
- 별개로, 직접 만든 스레드 봇에서 검증한 훅·CTA 배치 구조를 제안 → 반영 후 결과물 품질이 개선됨
PythonLLM-as-JudgePairwise PreferenceRubric CalibrationHTML
자율주행 QA 에이전트
1~2일 → 2시간Design · Implementation — Python / Claude / Playwright
"이거 테스트해줘" 한 마디면 사람 없이 돌고, 등록 직전 승인 한 번만 사람에게 묻는 QA 시스템. LLM이 화면을 관측하고 다음 액션을 정해 실행하며, 버그를 판정하고 증거를 붙여 등록까지 합니다.
자연어 지시→
LLM 자율 탐색 루프 ⟳
DOM 관측→
액션·이상 판정고정 JSON 스키마→
Playwright 실행트레이스 박제
→
버그 오라클oracle_type · confidence→
자동 재현 검증77% 통과→
휴먼게이트QA 승인 1곳→
JIRA 등록
문제
- 1인 QA가 여러 제품·릴리즈의 회귀와 탐색 테스트를 반복 — 사람 시간이 병목
- 생성형 AI 기능은 '정답'이 고정되지 않아 스크립트 테스트만으로 한계
접근
- LLM 자율 탐색 루프: DOM 관측 → 목표·상태 질의 → 고정 JSON 스키마로 액션/이상 판정 → Playwright 실행·트레이스 박제
- 버그 오라클: 기획서를 실시간 참조해 기대값 도출(없으면 UX 휴리스틱) + oracle_type·confidence 라벨링
- 결함 패턴 RAG 311종을 BM25(한국어 토크나이저)로 상황별 증강
- 휴먼게이트(승인): 테스터가 찾은 이슈를 QA 매니저가 확인 후 등록하는 실제 QA 조직의 협업 방식을 본떠 설계 — 오탐 이슈가 만드는 개발자 혼선과 커뮤니케이션 비용을 차단. 상태 기반 pause/resume, 3회 재시도
결과
- 사람이 1~2일 걸리던 테스트를 약 2시간에 완료 — 회귀 테스트 케이스 약 400~500건 1회전 기준 (약 4~8배 단축)
- 자체 평가: AI가 검출한 이슈 131건 중 101건(약 77%)이 자동 재현 검증 통과 — 승인 대시보드 데이터 기준
- 두 제품 출시 QA를 1인이 동시 커버 (현재 도입 검증 단계)
PythonClaude Agent (headless)PlaywrightMCPRAG · BM25JIRA REST
MCP 서버 2종
직접 제작 · 배포TypeScript · Python — @modelcontextprotocol/sdk
에이전트가 슬랙·업무 DB에 표준 방식으로 접근하려면 다리가 필요합니다. 그 MCP 서버 두 개를 직접 만들어 사내에 배포했습니다.
문제
- 에이전트가 슬랙·업무 DB·QA 스킬 등 사내 컨텍스트에 표준화된 방식으로 접근해야 함
- 비개발자 QA·실무자도 설치·사용할 수 있어야 함
접근
- slack-mcp (TypeScript): 슬랙 조회용 MCP 서버 자체 구현 — 채널·DM·스레드·검색·유저 5개 툴, 레이트리밋/페이지네이션 처리, npx 원커맨드 배포 + 비개발자용 문서
- pm-dashboard 내장 MCP: FastAPI 본체에 streamable-http MCP를 mount, Bearer 토큰 인증 — 프로덕션 API에 MCP 통합
결과
- MCP 서버 2종을 사내 배포 — 팀 누구나 설치해 쓰는 공용 인프라가 됨
- 설계 → 구현 → 배포 → 비개발자 온보딩 문서까지, 도입의 전 과정을 직접 수행
TypeScript@modelcontextprotocol/sdkFastAPIBearer Authnpx 배포
pm-dashboard · AI 대시보드
실배포 · 운영 중Full-stack · Deploy — FastAPI / Next.js / PostgreSQL
흩어져 있던 서비스 현황을 한곳에 모으고, 자연어로 묻고 회의록을 자동 정리하는 AI 기능을 얹어 실제로 배포·운영 중인 제품.
문제
- 11개 서비스 현황이 지라 + 스프레드시트로 이중 관리(월 약 20시간)
- 가독성이 낮아 커뮤니케이션 오류 발생
접근
- Claude Tool Use 현황 에이전트: 자연어 질문 → DB 조회 툴 자동 호출 → 현황 답변(스트리밍)
- 회의록 파이프라인: 녹음 → Clova STT → Claude 요약·액션아이템 추출
- FastAPI(async)+SQLAlchemy+PostgreSQL(Supabase)+Next.js 풀스택, 자체 MCP 서버 내장
결과
- 이중 관리·커뮤니케이션 오류를 통합 대시보드로 일원화
- NCP Docker + Vercel로 실배포, 사내 운영 중 (요구사항 지속 반영)
FastAPI(async)SQLAlchemyPostgreSQLNext.jsAnthropic SDKDocker · NCPVercel
ad-agent · AI 마케팅 에이전트
검색광고 ROAS 400%Design · Implementation — Python / Claude / FastAPI (개인 제작 · 퀀터스 재직 중 사내 마케팅에 실험 적용, 2026.02)
광고 대행사가 하는 일(리서치→전략→소재→집행→분석)을 AI 파이프라인으로 대체하는 실험. 전략은 에이전트끼리 토론시켜 만들고, 품질 게이트는 리드 에이전트도 우회 못 하게 잠근 뒤, 실제 집행까지 돌렸습니다.
문제
- 중소사업자는 대행사에 15% 수수료를 내고도 제대로 된 전략을 받지 못함
- 단발 LLM 호출로 뽑은 전략은 근거가 약하고, 허위·품질미달 소재를 거를 장치가 없음
접근
- 8단계 파이프라인(시장조사→전략→소재→검수→집행→분석) — 전략은 Blue팀 제안 → Red팀 8항목 비판 → Defense 판정의 셀프 디베이트로 생성
- 이중 품질 게이트: 팩트체크 FALSE 1건이면 차단 + QA 50점 만점 35점 미만 자동 반려 — 리드 에이전트도 우회 불가
- 4채널 어댑터 실제 API 연동(네이버 HMAC 서명·메타/구글 공식 SDK) + 한글 비주얼 3단 분리(Claude 프롬프트→Flux 이미지→Creatomate 한글 오버레이)
결과
- 소액(광고비 10만 원) 검색광고 실집행에서 ROAS 400% 검증
- 이미지·영상 소재는 퀄리티 기준을 통과하는 생성 워크플로우까지 확보 (게재는 회사 사정으로 중단)
- 같은 시기 스레드 글 생성 에이전트 팀(9개 역할)도 구성해 콘텐츠 워크플로우로 정립
PythonAnthropic SDKFastAPIfacebook-business · google-adsfal.ai FluxAPScheduler
qa-issue-manager
10분 → 30초 · 200건Python · Playwright — 자동 재현 검토 → JIRA 등록
이슈 한 건 등록에 10분씩 들던 작업을 30초로 줄여, 실전에서 200건을 처리한 자동화 도구.
문제
- 버그 등록: 재현 확인 → 스크린샷 → 양식대로 작성에 건당 약 10분
- 수작업이라 누락·불일치 발생
접근
- 이슈를 컨벤션에 맞게 교정, Playwright로 자동 재현 검토(재현/미재현 판정 + 증거 갱신)
- 검증 게이트(verified) 통과 후 JIRA 자동 등록, 라이브 컴포넌트 조회
- 테스터 스프레드시트 이슈 자동 임포트, source=ai/human 구분
결과
- 건당 10분 → 30초(약 20배), 약 200건 처리 → 약 31시간 절감
- AI 테스트케이스 자동생성과 연계
PythonPlaywright MCPJIRA RESTGoogle Sheets
퀀터스 QA 자동화 3종
웹 E2E · API · 데이터QA Lead — Python / Playwright / pytest (2025.02–2026.02)
퀀트 투자 플랫폼의 웹·API·데이터를 각각 자동화로 커버하고, 민감정보를 정제해 공개 repo로 재구성했습니다.
문제
- 1인 QA가 웹·API·데이터 회귀 검증을 수동으로 반복
- 배포 후 API 장애를 모니터링 없이 사람이 먼저 발견하지 못하는 구조
접근
- 웹 E2E: Playwright + POM 패턴으로 투자 예약·리밸런싱·백테스트 핵심 플로우 자동화, Docker + GitHub Actions + Slack 알림 (flat 구조 → POM 리팩터링)
- API 모니터링: pytest 헬스체크 15종, OAuth 토큰 자동 갱신, 실패 원인 자동 분류, CI 정기 실행
- 데이터 검증: 한/미 주식 데이터를 Google Sheets 연동으로 50종목 배치 대조, 체크포인트 재시작
결과
- 웹 → API → 데이터 전 영역 자동화 커버리지 구축
- 민감정보 정제 후 공개 포트폴리오 repo로 통합 — 마이그레이션 문서 7종 포함
About · Principles
일하는 방식
안녕하세요, 정세윤입니다. 조직에서 반복되는 비효율을 찾아 시스템으로 바꾸는 일을 합니다. 같은 일을 사람이 두 번 하지 않게 만들고, 거기서 아껴지는 시간과 비용을 확인하는 순간을 가장 좋아합니다.
QA 엔지니어로 커리어를 시작해, SKT 에이닷의 NLU→LLM 전환 QA와 퀀터스에서의 QA 리더 겸 PM을 거치며 품질뿐 아니라 프로세스와 제품을 함께 다뤘습니다. 그 과정에서 배포 사고를 프로세스로 없애고, 이중 관리를 하나로 합치고, 반복 업무를 에이전트에게 넘기며 — 문제를 발견하면 직접 만들어 해결하는 방식이 몸에 뱄습니다.
지금은 메디솔브에이아이에서 AI 에이전트와 자동화 툴을 직접 설계·구현·배포합니다. 개발·디자인·기획 사이에서 현업의 요구를 구조화해 기술로 번역하는 역할을 오래 해왔고, 무엇을 만들든 늘 비즈니스 관점으로 봅니다 — 이 시스템이 누구의 어떤 문제를 풀고, 얼마의 시간과 비용을 아끼는지.
이력 중 메멘토·퀀터스·현직은 끊어진 이력이 아니라 이어진 자리입니다 — 메멘토(폐업)와 퀀터스는 같은 대표의 회사였고, 현직은 퀀터스에서의 고용승계로 합류했습니다. 지금은 QA 비중이 큰 현재 역할에서, LLM 에이전트를 만드는 일을 본업으로 하는 다음 스텝을 찾고 있습니다.
품질은 AI 솔루션의 마지막 방어선.정답 없는 AI일수록 '어떻게 신뢰를 검증하나'가 승부처.
휴먼 에러는 시스템으로 커버.사람을 탓하는 대신 프로세스·자동화로 반복 문제를 없앤다.
최소한의 장치로 최대 효과.과한 프로세스보다 핵심 문제를 푸는 얇은 시스템을 선호한다.
만들고 끝이 아니라 운영까지.배포·사용·피드백 반영을 제품의 일부로 본다.
Resume
이력 · 스택
경력
-
2026.03 — 현재
㈜메디솔브에이아이QA · AI 에이전트 엔지니어
생성형 AI 제품 2종 (SNS 콘텐츠 생성 · 링크 관리)
- AI 기반 QA를 직접 구축, 두 생성형 AI 제품(하나는 대규모 스펙) 출시 QA를 혼자 동시 수행
- 자율주행 QA 에이전트·MCP 서버 2종·pm-dashboard 등 대표 작업 전부 이 시기 산출물
-
2025.02 — 2026.02
㈜퀀터스테크놀로지스QA Lead · PM 겸임
퀀트 투자 솔루션 (전략 제공·운용 대행, 고객사 다수)
- 1인 QA로 시작, 2025.4~5월부터 QA 리더 겸 PM으로 품질·릴리즈·제품 개선 주도
- 릴리즈 체크리스트·크로스체크 도입 → 배포 치명 장애 0건화, 긴급 핫픽스 약 85% 감소, 릴리즈 사이클 3주 → 2주
- PM으로 제품 개선 겸임 — 온보딩 홈 리뉴얼 DAU +50%, 마일리지 시스템 설계 → 천만 원대 이벤트 매출, 퍼널 이탈 데이터 분석·전환 구조 개선안 설계
- 디자인 핸드오프 프로세스로 재작업 체감 60%↓ · GA4/GTM 데이터 체계 직접 설계
- 웹 E2E·API 모니터링·데이터 검증 자동화 구축 → 공개 repo ↗
-
2024.11 — 2024.12
㈜메멘토에이아이QA
메디컬 솔루션 스타트업 (폐업)
-
2023.11 — 2024.10
㈜티벨소프트웨어 테스터
SKT 에이닷 앱
- NLU→LLM 전환 QA 참여, 정답 없는 AI 응답 테스트 전략 리서치
- 사내 테스트 디자인 콘테스트 1위(2024.03) · 팀 전체 버그 약 40% 직접 검출
-
2018 — 2023
매일경제신문사 · ㈜김앤드이기계설비 관리 · 설비 품질관리
복잡한 시스템의 구조적 이해, 품질 기준 수립, 다수 이해관계자 협업
기술 스택
AI · LLM
LLM 에이전트 아키텍처, Claude(Tool Use·헤드리스), 프롬프트 엔지니어링, MCP 서버 구현, RAG(BM25), Clova STT
Backend
Python(FastAPI·SQLAlchemy async·pytest), TypeScript, REST API, PostgreSQL/SQL
QA · 자동화
Playwright, Appium, pytest, GitHub Actions, 테스트 자동화 설계, AI 응답 평가
Infra
Docker, NCP, Vercel, Supabase
협업 · 데이터
Jira · Confluence · Zephyr, GA4/GTM, Figma, Slack, Notion
Leadership
QA 리더 · PM 겸임, 프로세스 설계, 크로스펑셔널 조율
Explore
연결된 이력
프로젝트·역량·경력이 어떻게 이어지는지 — 노드를 클릭하면 해당 섹션으로 이동해요.
나
프로젝트
경력
역량
Contact
AX / AI 솔루션을 함께 만들 팀을 찾고 있습니다.
편하게 연락 주세요.