QA 업무 전체를 AI로 옮기기

처음 마주한 문제

검증하는 사람은 저 혼자인데 제품은 여럿이었습니다. 반복 작업 몇 개를 자동화하는 걸로는 계산이 안 나왔습니다. 전 직장에서 웹·API·데이터 검증을 각각 자동화해 본 경험으로는 부족했어요 — 그건 도구 단위였고, 필요한 건 직무 단위였습니다.

업무 지도 — AI가 어디에 붙어 있나

초록 관문 하나가 사람입니다. 나머지는 AI와 코드가 맡고, 사람은 등록 직전에 확인만 합니다.

단계마다 무엇을 만들었나

• 테스트 설계·코드화 — 만드는 것도 AI에게.회귀 테스트를 사람이 코드로 짜는 대신, 모듈을 작성하는 AI·실행하는 AI·기록을 관리하는 AI로 역할을 나눈 독립 저장소를 만들었습니다. 스펙을 읽고 구현이 바뀌면 모듈이 따라 바뀌는 구조라, 회귀 테스트가 낡지 않습니다.
• 탐색 테스트 — 각본 없는 검증은 에이전트가.지시 한 문장이면 화면을 돌아다니며 이상을 찾고 재현까지 확인하는 에이전트. 이 지도에서 가장 큰 조각이라 별도 사례로 정리했습니다.
• 회귀 테스트 — 반복은 코드가, 기록은 자동으로.실행 결과가 로컬 CSV와 구글 시트 두 곳에 자동 적재됩니다. 기록 규칙은 공통 모듈 하나가 정본이라, 어떤 모듈이 돌아도 시트가 같은 모양으로 쌓입니다.
• 생성물 품질 평가 — "좋은 출력"의 기준부터.생성형 AI 제품은 정답이 없어서, 경영진과 "좋은 글"을 보는 눈부터 맞춘 뒤 여러 항목으로 나눠 재는 채점기를 만들었습니다.
• 이슈 등록 — 흐름 전체를 자동화.재현 확인부터 등록까지 건당 10분 걸리던 일을 30초로, 약 200건 처리. 최근엔 수정 확인 보드까지 — 수정 테스트, 근거 파악, 주변 영향 확인, 그 과정에서 발견한 이슈 등록을 한 화면에서 합니다.
• 사람 승인 — 딱 한 곳.잘못 찾은 이슈가 개발자에게 도달하면 되돌리는 비용이 커서, 등록 직전에만 사람을 남겼습니다. 강제 등록조차 사람 확인창을 거치고, 이미 등록된 건의 재등록은 사람에게도 열지 않습니다 — 우회에도 등급이 있습니다.

결과

• 생성형 AI 제품 두 개의 출시 검증을 혼자 동시에 감당할 수 있게 됐습니다. 검증 한 바퀴는 1~2일에서 약 2시간으로.
• 단계 사이의 이음새가 사라졌습니다 — 에이전트가 찾은 버그가 자동 재현을 거쳐 등록 대기열에 쌓이고, 승인하면 끝입니다. 사람이 복사해 옮기는 구간이 없습니다.
• 이 지도는 QA여서 가능했던 게 아닙니다. 업무를 단계로 쪼개고, 단계마다 "AI에게 넘기면 뭐가 틀어지고 되돌릴 수 있나"를 묻는 방법은 다른 직무에도 확장할 수 있다고 생각합니다 — 그게 제가 이해하는 AX입니다.