スタンフォード大学とカリフォルニア大学バークレー校の研究者らは、オープンアクセスジャーナルarXiv.orgに未査読の論文を発表した。
その論文では、OpenAIのChatGPT大規模言語モデルの「パフォーマンスと動作」が2023年3月から6月にかけて変化していることが判明した。
論文では、「一部のタスクは改善されている可能性があり、他のタスクは悪化している可能性がある。
このため、さまざまな時点でより体系的に評価したいと考えた。
」と述べられている。
研究者らはまた、機密入力に対する LLM の精度が 97% から 79% に低下したことも発見しました。
コメント