研究者が警告、LLMが「ゴミデータ」で脳腐敗を引き起こす可能性

LLM（大規模言語モデル）を高品質なデータで訓練すれば、性能が向上することは明白ですが、逆に低品質な「ゴミデータ」で訓練するとどれだけ問題が発生するかについて、テキサスA&M大学、テキサス大学、パーデュー大学の研究者たちが新たに調査を行いました。今月発表されたプレプリント論文では、研究者たちが、膨大な量の「 trivial で挑戦的でないオンラインコンテンツ」を消費することで、人間の注意力や記憶、社会的認知に問題が生じるという既存の研究にインスピレーションを得て、「LLM脳腐敗仮説」を提唱しています。この仮説は、「ゴミのようなウェブテキストでの継続的な事前訓練が、LLMに持続的な認知低下を引き起こす」という考え方に要約されます。