人工知能（AI）はソフトウェア開発を変革していますが、現在の評価方法はそのスピードに追いつくのに苦労しています。Google LLC の研究チームは、コードの精度評価から、AIエージェントが協調的な環境においてどのように行動するかを理解することに焦点を移すことで、画期的な発見を成し遂げました。彼らの研究は、望ましいエージェント行動の基礎的な分類を確立し、標準の遵守、コード品質、効果的な問題解決、そしてユーザーとの協調という4つの主要な期待を特定しました。

## 機能的正確性を超えたAIの評価

AI評価の分野は、AIが生成したコードが動作するかどうかを単に検証することから、可読性、保守性、セキュリティ、協調の可能性といったより広範な側面を評価することへと移行しつつあります。これには、多次元のベンチマークと現実世界との関連性が求められます。AIエージェントの評価には、可読性といった主観的な品質を評価する標準化された指標の欠如や、LLM（論理モデルモデル）がほぼ機能するコードを生成する際に人間による大幅な改良が必要となる「ラストマイル問題」など、課題が存在します。

反復的な対話を行うエージェントを評価し、責任あるAI開発に関する懸念、特にバイアスや潜在的な危害に対処するには、新たな評価フレームワークも必要です。研究者たちは、バグの再現と修正、コードの可読性の評価、AIエージェントが複雑なソフトウェアエンジニアリングタスクを自律的に完了する方法の調査といったタスクにおいて、LLMを積極的にテストしています。開発者がAIツールとどのようにインタラクションするかを理解し、開発者がAIツールからリアルタイムに学習する方法を研究すること、さらにはLLMをテスターとして活用することなども、重要な調査分野です。

## AIエージェント行動の人間中心分類

研究者たちは、ソフトウェアエンジニアリングにおけるAIエージェントを評価するための新しいフレームワークを開発しました。コードの正確性だけでなく、協調行動も評価対象としています。91セットのユーザー定義エージェントルールを分析し、効果的なパフォーマンスを実現するための主要な期待値を抽出し、標準の遵守、コード品質の確保、効果的な問題解決、ユーザーとの協調という4つの重要な行動を定義する分類法を作成しました。これにより、チームワークのダイナミクスに焦点を当てた、人間中心の評価視点が得られます。

エージェントの行動に対する期待は固定的なものではないことを認識し、研究者たちはコンテキスト適応型行動（CAB）フレームワークを開発しました。このアプローチは、状況に応じて期待がどのように変化するかを理解するために、「時間軸」（差し迫ったニーズから長期的な目標まで）と「作業の種類」（エンタープライズプロダクションとラピッドプロトタイピングを区別）の両方を考慮します。これらの軸は、専門家へのインタビューとプロトタイピングエージェントの分析を通じて経験的に導き出されました。

## ソフトウェア開発におけるAIエージェントの行動

科学者たちは、91セットのユーザー定義エージェントルールの分析に基づき、エンタープライズソフトウェア開発において協働するAIエージェントに望ましい行動の基礎的な分類を確立しました。特定された4つの主要な期待は、標準の遵守、コード品質の確保、問題の効果的な解決、そしてユーザーとの協働であり、人間中心の評価フレームワークを提供することです。 LLMベースの分類システムにより、この分類法は正確に検証され、F1スコア83%（適合率81%、再現率85%）を達成しました。

実験の結果、エンタープライズソフトウェア開発とラピッドプロトタイピングでは、表現の違いはあるものの、期待される行動に大きな類似性があることが明らかになりました。ユーザーは、エージェントがベストプラクティスに従い、協調的な計画立案に取り組むことを一貫して期待しています。また、ユーザーは、エージェントが文脈的知識を用いて問題を解決し、会話履歴やプロジェクトドキュメントをレビューし、フィードバックを積極的に検証・学習することも期待しています。しかし、本研究では、ラピッドプロトタイピングに特有の異なる期待が浮き彫りになり、専門家としての役割とUI/UXの品質がより重視されていることが明らかになりました。

## ソフトウェアチームのためのコンテキスト適応型AI動作

本研究は、ソフトウェアエンジニアリングタスクで協働するように設計されたAIエージェントの評価における大きなギャップに対処します。チームは、望ましいエージェント動作の基礎的な分類法を確立し、標準の遵守、コード品質の確保、効果的な問題解決、ユーザーとの協働という4つの主要な期待を特定しました。これは、人間とAIのパートナーシップを成功に導くための明確な枠組みを提供します。これを基に、研究者らはコンテキスト適応型行動（CAB）フレームワークを導入しました。これは、エージェントの行動に対する期待が、具体的な作業内容やプロジェクトの時間軸に応じてどのように変化するかを示すものです。

このフレームワークは、当面の生産ニーズから長期的な目標、日常的なタスクからラピッドプロトタイピングまで、幅広い要素を考慮しており、人間とAIの相互作用に関する繊細な理解を明らかにしています。エンタープライズソフトウェアエンジニアリングにおいて実証されていますが、組み込みシステムやデータサイエンスといった他の分野への適用を探求し、包括的な適用性を高めるには、さらなる研究が必要です。