衝撃:AIのコードは凄いのに保守は苦手

AIはもう大規模なコードベースの保守を任せられるレベルだと思っていませんか。それなら考え直してください。アリババなどの研究チームが2026年3月に発表した新しいベンチマーク「SWE-CI」が、今のAIモデルのコード保守能力に強い警鐘を鳴らしています。短いコードをうまく書けるかどうかだけでなく、長期的な保守の実態を見ないと、評価を誤ってしまいます。

SWE-CIベンチマークとは何か

一回限りの「one-shot」テストとは違い、SWE-CIはバグ修正の正確さだけでなく、AIが長期間にわたってコードベースをどう保守していくかまで評価します。実際のソフトウェア開発でよくある継続的インテグレーション(CIループ)の流れを再現しているのが特徴です。

客観的に評価するため、研究チームはGitHub上の実在するリポジトリ100件を採用しました。条件はかなり厳しく、スター数500以上、かつ3年以上保守が続いているものに限定し、コードと保守プロセスの実用性を担保しています。各リポジトリは平均233日分の開発履歴を追跡し、1タスクあたり平均71回ものコミットが連続して発生する、決して軽くないボリュームです。

このシミュレーションでは「デュアルエージェント」(アーキテクト役とプログラマー役)のモデルを採用しています。アーキテクトが問題を分析して計画を立て、プログラマーが実際にコードを書くという、実際の開発チームの動き方に近い形です。こうした具体的な数字が、このベンチマークの規模と信頼性を理解する手がかりになります。

衝撃の結果、AIは長期保守でまだ「息切れ」する

今のAIモデルは短いコードを書くのは非常に得意ですが、既存機能を壊さずにシステムを保守するという点では大きな壁にぶつかることが分かりました。テストに参加した18モデル(OpenAI、Anthropic、アリババ、Zhipu AIなど大手8社のモデル)のうち、大半の「ゼロリグレッション率」(新しいコードが既存機能のテストを壊さない割合)は25%を下回りました。

つまり75%のケースで、AIが新しいコードを追加すると既存機能のテストが壊れてしまうということです。大規模なプロジェクトでAI生成コードを使う際には、開発者が相当慎重にチェックする必要があります。

この中で50%の壁を越えられたのは、Anthropicの「Claude Opus」(バージョン4.6)とZhipu AIの「GLM-5」(中国)だけでした。一部の報告では、Claude Opus 4.6が特定の評価基準で76%にまで達したとも伝えられており、今後の改善に期待が持てる結果です。ただ全体として見れば、25%という数字は依然として大きな課題のままです。

新たな問題、AIが生み出す「レガシーコード」

AIも「技術的負債」を作るのです。開発者の間では、AIがその場では動くものの保守が難しく、将来のアップデートで不具合の火種になりかねない新種の「レガシーコード」を生み出しているという指摘が出ています。

AIを使って開発を進めている人なら誰にとっても見逃せないポイントです。アーキテクチャや長期的な拡張性を軽視すると、後になって深刻な結果を招き、将来の保守がより難しく、コストもかさんでしまいます。だからこそ、AIが生成したコードのレビューとテストがますます重要になっています。

🧑‍💻 ソフトウェアエンジニアにとっての意味

今回の研究は、近い将来AIが人間を完全に置き換えることはできない、特に大規模システムの保守という役割においてはなおさらだという見方を裏付けるものです。レビュー、テスト、そしてAIがシステム規模の拡大に伴って見落としがちなエッジケース(境界条件)への対応は、依然として人間にしかできない重要な仕事です。エッジケースは往々にして複雑で、実務経験に基づく判断が欠かせません。

エンジニアの役割は、一行一行コードを書く人から、複数のAIエージェントを指揮する「指揮者」へと変わりつつあり、細部よりもシステム全体のアーキテクチャに力を注ぐようになっています。これはソフトウェアエンジニアにとって、コーディングだけでなく、管理やアーキテクチャ設計の役割へとシフトする新しいチャンスでもあります。

研究で使われたEvoScore(将来の修正に対する正確さを測る指標)やリグレッション率といった主要な評価指標も詳しく報告されており、このベンチマークの評価方法をより深く理解する手がかりになります。

このAIの保守問題は、近いうちに改善されると思いますか。あなたの考えをコメントで教えてください。

よくある質問

SWE-CIは従来のコーディングベンチマークと何が違うのですか 従来のベンチマークの多くは一回限りのタスクで、AIが一度でコードを正しく書けるか、バグを直せるかだけを見ます。SWE-CIは実際の継続的インテグレーションの流れを再現し、数百日にわたる開発の中でAIが既存機能を壊さずに保守し続けられるかを評価します。

ゼロリグレッション率がなぜ重要なのですか ゼロリグレッション率は、AIが新しいコードを追加したときに既存機能のテストを壊していないかを示す指標です。多くのモデルが25%を下回っており、AIがコードを修正する際に別の部分を壊してしまうことが多いことを意味し、長期保守における大きなリスクになります。

SWE-CIで最も高い成績を出したモデルはどれですか 現時点でゼロリグレッション率が50%を超えたのは、Anthropicの「Claude Opus 4.6」とZhipu AIの「GLM-5」の2モデルのみです。Claude Opus 4.6は一部の評価基準で76%に達し、他のモデルを大きく引き離しています。

これはAIがコーディングに向いていないという意味ですか そうではありません。短いコードを素早く書く点でAIは依然として強力です。ただし長期的な保守やシステムの安定性という面では、まだ成熟していないということです。現実的には、人間がレビューやテスト、アーキテクチャの最終判断を担い、AIが実装を担当する分業が有効です。