리뷰와 AI로 만드는 팀의 품질 게이트
동료 PR 740여 개를 리뷰하며 출시 전 결함을 막고, 리뷰에서 쌓인 지식을 팀의 AI 에이전트 규칙으로 옮겼습니다. AI와 함께 조사하되, 결론은 반영 전에 코드와 근거로 확인합니다.
상황
AI 코딩 에이전트로 코드를 빠르게 쓸 수 있게 되면서 병목은 리뷰와 검증으로 옮겨 왔습니다. AI는 그럴듯하게 틀릴 수 있어서, 빨라진 만큼 확인하는 방식이 필요했습니다.
판단
리뷰: 팀의 상시 리뷰어로 동료 PR 740여 개를 리뷰했고, 제가 연 지적 스레드의 절반 가까이가 실제 수정으로 이어졌습니다. 서버 diff에서 멈추지 않고 AI와 함께 클라이언트 코드, 기획서, 실데이터까지 대조합니다. 다섯 개 PR로 나뉘어 머지된 대형 길드 콘텐츠는 한 diff로 다시 묶어 AI와 함께 통합 리뷰하고, PR 단위로는 보기 어려운 기능 간 상호작용을 함께 점검해 후속 수정으로 이어갔습니다.
에이전트 규칙: 팀의 지난 리뷰 코멘트 2,000여 개와 코드 패턴을 AI 에이전트로 분석해, 반복된 지적을 팀의 AI 에이전트 규칙과 작업 유형별 레시피로 정리했습니다. 별도 에이전트로 초안을 팩트체크해 오류 14건을 고쳤고, 리뷰어끼리 의견이 갈린 항목은 넣지 않았습니다.
릴리스 리뷰와 리뷰 봇: 출시 후 릴리스마다 리뷰 전용 PR을 열어 사람 리뷰와 AI 리뷰를 함께 돌리고, 동료가 도입한 AI 리뷰 봇을 유지보수합니다. 봇이 실행할 수 있는 셸 명령은 읽기 전용으로 한정했습니다.
AI와 함께 원인 찾기: 날짜만 바뀌었는데 모든 브랜치의 CI 부하 테스트가 실패한 적이 있습니다. AI와 함께 원인을 좁혀, 그날 열린 콘텐츠로 커진 로그를 개발용 로거가 처리하느라 CPU를 다 쓰고 있었다는 것을 확인하고 프로덕션과 같은 로거로 바꿔 해결했습니다. 앞서 부하를 낮춰 우회했던 제 변경은 원인을 잘못 짚은 것이었다고 PR에 밝히고 되돌렸습니다.
결과
AI 결과는 출처를 밝히고, 반영 전에 근거를 확인합니다. 리뷰 봇의 지적 6건 중 4건만 반영하고 1건은 근거를 들어 반려한 적이 있고, 릴리스 리뷰에서 AI가 심각도를 높게 매긴 항목은 기획 의도를 확인해 기각했습니다.