研究室でのベンチマークはもうやめましょう: Inclusion Arena は LLM が本番環境でどのように機能するかを示します from venturebeat.com

研究室でのベンチマークはもうやめましょう: Inclusion Arena は LLM が本番環境でどのように機能するかを示します from venturebeat.com 海外記事要約

研究室でのベンチマークはもうやめましょう: Inclusion Arena は LLM が本番環境でどのように機能するかを示します from venturebeat.com


アリババ傘下のアントグループ傘下のインクルージョン・アリーナは、ユーザーの好みに基づいてモデルをランク付けするモデル・リーダーボードを提案した。
研究者らは、このアルゴリズムは比較のために複数のモデルを生成し、ランク付けすることで、実際の使用シナリオを反映させていると主張している。
また、ユーザーは好みのアプローチや気に入ったモデルに応じてモデルを選択できると付け加えている。
ただし、この研究は2025年7月までのデータを用いて行われたため、依然として限定的なデータとなっている点に注意する必要がある。

コメント

タイトルとURLをコピーしました