実績一覧へ

レビューとAIで作るチームの品質ゲート

同僚のPRを740件あまりレビューしてリリース前の欠陥を防ぎ、レビューで蓄積した知見をチームのAIエージェント向けルールに移しました。調査はAIと一緒に進めつつ、結論は反映する前にコードと根拠で確かめます。

状況

AIコーディングエージェントでコードを速く書けるようになり、ボトルネックはレビューと検証に移ってきました。AIはもっともらしく間違えることがあるため、速くなった分、それに見合った確認の仕組みが必要でした。

判断

レビュー:チームの常任レビュアーとして同僚のPRを740件あまりレビューし、私が立てた指摘スレッドの半数近くが実際の修正につながりました。サーバーのdiffだけで終わらせず、AIと一緒にクライアントのコード、仕様書、実データまで照らし合わせます。5つのPRに分かれてマージされた大型ギルドコンテンツは、一つのdiffにまとめ直してAIと一緒に統合レビューを行い、PR単位では見えにくい機能間の相互作用もあわせて確認し、後続の修正につなげました。

エージェントのルール:チームの過去のレビューコメント2,000件あまりとコードパターンをAIエージェントで分析し、繰り返されてきた指摘を、チームのAIエージェント向けルールと作業タイプ別のレシピにまとめました。別のエージェントで草案をファクトチェックして誤り14件を修正し、レビュアー間で意見が分かれた項目は含めませんでした。

リリースレビューとレビューボット:リリース後は、リリースごとにレビュー専用のPRを作成して、人によるレビューとAIレビューをあわせて実施し、同僚が導入したAIレビューボットを保守しています。ボットが実行できるシェルコマンドは、読み取り専用のものに限定しました。

AIと一緒に原因を探る:日付が変わっただけで、すべてのブランチでCIの負荷試験が失敗したことがあります。AIとともに原因を絞り込み、その日に開始したコンテンツで大きくなったログを開発用のロガーが処理するためにCPUを使い切っていたことを確認し、本番環境と同じロガーに切り替えて解決しました。先に負荷を下げて回避していた自分の変更は、原因を見誤ったものだったとPRに明記し、取り消しました。

結果

AIが出した結果はその旨を明記し、反映する前に根拠を確認します。レビューボットの指摘6件のうち4件だけを反映し、1件は根拠を示して差し戻したことがあります。リリースレビューでAIが深刻度を高く付けた項目は、企画意図を確認したうえで却下しました。