小規模言語モデルが新たな流行になっていると研究者が語る from WIRED(AI)

MITの研究者ジーコ・コルター氏は、最近開発された小型言語モデルは、会話を要約したり患者の質問に答えたりといったタスクに「非常に優れている」と述べています。
研究者らは、訓練されたニューラルネットワークのパラメータがわずか80億個なので、費用と時間を節約しながら、より速く訓練できると述べた。
ただし、大規模なモデルのトレーニングには膨大なリソースが必要です。
大規模なモデル設計では、回答を求めるたびにより多くのパラメータが必要となり、Google 検索 1 回の約 10 倍のエネルギーを消費します。