GitHub の問題は、4 つの言語にわたって AI コーディング アシスタントを評価するベンチマークに含まれていました。
テストしたすべてのエージェントの中で Python が最も強力な言語であることが判明し、最も人気のある言語は Java でした。
このベンチマークは、アマゾン ウェブ サービス (AWS) プラットフォームで利用できます。
500 件の問題の階層化されたサブセットも含まれています。
特に、Java、JavaScript、Typescript は最も一般的なプログラミング言語の 1 つです。
ただし…問題リクエストの処理や機能構築タスクの処理において、精度と再現率のメトリクスはエージェント間で大きな違いがあることを示しています。
コメント