実績一覧へ

分散トランザクションとイベントストリームの整合性

AI分析ツールやレビューが指摘した候補をコードとライブラリのソースで自ら検証して修正範囲を決め、2PCの曖昧なコミットと、意図どおりに動いていなかったKafkaの巻き戻しを修正しました。CDCに流れかけたTTL削除は自分で見つけて防ぎ、リリース後にはリトライ安全性を全経路にわたって点検しました。

状況

ゲームサーバーはユーザーとギルドをイベントソーシングのアクターとして扱い、複数のアクターをまとめて変更するリクエストは2フェーズコミット(2PC)で束ねています。変更イベントは、CDCとTransactional Outboxを通じてKafkaに流れます。この構成では、小さな欠陥が、テストでは表に出にくいデータ不整合につながります。

判断

2PCの曖昧なコミット:DBがコミットされたかどうか不明と応答した場合、イベントはすでに書き込まれている可能性がありますが、ロールバックの経路はメモリ上の状態だけを戻していました。AI分析ツールが出した修正案の中から、実際にコミットされたかを確認し直してジャーナルとメモリを一致させる案を選び、実装しました。コーディネーター側まで広げた拡張は競合する状況で誤判定しうるため自ら元に戻し、エンティティを直接保持しているアクター側だけで判定するよう範囲を絞りました。

Kafkaの巻き戻し:コンシューマーの起動時に数分前まで巻き戻そうとしていたコードが、ライブラリの挙動と食い違い、実際には常に最新位置から開始していました。当初はDBからの復元で十分だと考え、巻き戻しは復活させませんでしたが、DBを読む時点と購読開始のあいだの隙間を指摘したレビューを受け入れ、判断を改めました。時刻を基準に開始位置を決め、重複する区間は冪等に吸収するよう変更しました。通知のように巻き戻すと重複が生じるコンシューマーは、最新位置から開始することをコードに明示しました。

TTL削除:outboxテーブルのTTL削除がCDCに空のイベントを流し、下流に空のデフォルト値が書き込まれうることをローカルで再現して確認し、outbox導入の直後、リリース前に防ぎました。失敗をスキップする処理も一度入れましたが、黙ってスキップすると実際の問題まで埋もれてしまうというレビューでの意見に従い、元に戻しました。

リトライ安全性:モバイルネットワークでは、同じリクエストが複数回届くことがあります。ギルド機能の一つでリトライ安全性を確認していたところから範囲を全体に広げ、AIと一緒に、ゲーム内通貨や報酬が関わる箇所から呼び出し経路を逆向きにたどって、リトライに対して安全でない経路を体系的に洗い出してふさぎました。

結果

2PC、Kafka、TTLの欠陥はリリース前に修正し、リトライ安全性の点検はリリース後に全経路へと広げました。処理が失敗し続けるメッセージにすぐ気づけるメトリクスとアラートも作成しました。

私の役割

2PCとKafkaの欠陥は、同僚が作ったAIコード分析ツールが最初に指摘したもので、修正方針もその提案の中から選びました。私が担ったのは、候補をコードとライブラリのソースで検証し、影響と修正範囲を決め、レビューでの指摘を反映して修正したことです。TTL削除とリトライ安全性の点検は、自分で始めた取り組みです。