741
你是否经历过大语言模型一本正经“胡说八道”？大模型在发展初期的幻觉问题尤为严重，所回答问题基本属于“已读乱回”，至于哪家企业的大模型不在本文探讨之列，大家心知肚明，更重要的是大语言模型的幻觉问题有了最新进展。
今日，百度创始人李彦宏公开表示，“大模型基本消除了幻觉”，这对于大语言模型来说是一个巨大的进步，过去一年来大模型的幻觉问题为用户造成了很多困扰，笔者在参加某次业内会议时，有专家明确指出：“我们期望大模型即使不回答也不要输出误导性的错误答案。”
面对大语言模型的幻觉问题，各企业也在全力攻克，尤其头部的一些大模型开发厂商。OpenAl CEO Sam Altman曾指出：“我们正在努力解决幻觉问题，这将需要一年半到两年的时间。”
然而，信息技术行业发展到今天，已经步入到“日日新”的阶段，大型语言模型发展短短两年时间，就已在该领域上取得了巨大突破。
那么，为什么LLM会出现幻觉？360创始人周鸿祎曾一针见血地指出：“目前人工智能存在一个全世界公认的难题——它会产生幻觉，这是大模型本身固有的特性。”也就是说，幻觉问题是大语言模型与生俱来的。
此外，产生幻觉的原因可大致分为三个方面：数据源、训练过程、推理。
具体来看，大语言模型产生幻觉的原因包括数据质量、算法、专业领域知识丰富度、是否拟合等。
从数据质量上来看，大规模数据集中可能存在数据质量问题，例如缺失值、异常值或不一致性，这些问题可能会导致大文本模型输出错误结果。
从算法选择来看，目前大模型已经遍地开花，各家大模型选择的算法各不相同，不同的算法对于大规模数据的处理方式各不相同，选择不恰当的算法可能导致对数据的错误建模，从而产生幻觉。
从专业领域的知识的丰富程度来看，大语言模型在涉及某些专业领域时，会因为知识储备（语料）不充足或者不能理解专业领域的数据，产生对客观事实的错误解读。
从大语言模型训练的角度来看，存在过拟合的问题。模型在训练数据上表现良好，但是对样本外的数据进行测试时表现效果不佳，欠拟合和过拟合的大模型出现幻觉的概率一般较高。
虽然大语言模型幻觉一度困扰开发者和用户，但有人却持有不同的观点——大模型幻觉是非常宝贵的特性，之所以有这样的观点，是他们认为因为“幻觉和创新其实只有一线之隔”，未来，如何破除幻觉和创新的壁垒将是大模型努力的方向。
其实大语言模型发展到今天，面临的不止“幻觉”这一个挑战，如未来随着数据量的巨增，必须要进行模型压缩与优化；多模态模型与大语言模型的结合，将自然语言处理与计算机视觉、语音处理等多模态信息相结合，扩大应用场景。
作者：孙天
责编/版式：盖贝贝
审校：王 涛 梅雅鑫
监制：刘启诚
