做外贸建网站需要推广吗,网页紧急升级维护中升级,中国企业500强排名一览表,网站建设代码介绍转自#xff1a;机器之心
大语言模型#xff08;LLM#xff09;为什么空间智能不足#xff0c;GPT-4 为什么用语言以外的数据训练#xff0c;就能变得更聪明#xff1f;现在这些问题有 「标准答案」了。 近日#xff0c;一篇麻省理工学院#xff08;MIT#xff09;等…转自机器之心
大语言模型LLM为什么空间智能不足GPT-4 为什么用语言以外的数据训练就能变得更聪明现在这些问题有 「标准答案」了。 近日一篇麻省理工学院MIT等机构发表在顶级学术期刊《自然》杂志的文章观察到人类大脑生成和解析语言的神经网络并不负责形式化推理而且提出推理并不需要语言作为媒介。 这篇论文声称「语言主要是用于交流的工具而不是思考的工具对于任何经过测试的思维形式都不是必需的」引发了科技领域社区的大讨论。 难道真的如语言学家乔姆斯基所言追捧 ChatGPT 是浪费资源大语言模型通向通用人工智能AGI的路线完全错了 让我们看看这篇论文《Language is primarily a tool for communication rather than thought》是怎么说的。 论文链接https://www.nature.com/articles/s41586-024-07522-w 语言是人类智能的一个决定性特征但它所起的作用或多或少一直存在争议。该研究提供了神经科学等相关学科角度的最新证据以论证现代人类的语言是一种交流工具这与我们使用语言进行思考的流行观点相反。 作者首先介绍了支持人类语言能力的大脑网络。随后回顾语言和思维双重分离的证据并讨论语言的几种特性这些特性表明语言是为交流而优化的。该研究得出结论认为尽管语言的出现无疑改变了人类文化但语言似乎并不是复杂思维包括符号思维的先决条件。相反语言是传播文化知识的有力工具它可能与我们的思维和推理能力共同进化并且只反映了人类认知的标志性复杂性而不是产生这种复杂性。 图 1 研究证据挑战了语言对于思维的重要性。如图 1 所示使用 fMRI 等成像工具我们可以识别完整、健康的大脑中的语言区域然后检查在完成需要不同思维形式的任务时语言区域的相关响应。 人类大脑中的语言网络 从人脑的生物学结构来看语言生成和语言理解由左半球一组相互连接的大脑区域支持通常称为语言网络图 1aBox 2 描述了它与语言神经生物学经典模型的关系。 Box 2。许多教科书仍然使用 Wernicke 提出的语言神经基础模型并由 Lichteim 和 Geschwind 进行了阐述和修订。该模型包括两个皮层区域Broca 区位于下额叶皮层Wernicke 区位于后上颞叶皮层。这两个区域分别支持语言产生和理解并通过一条背侧纤维束弓状束连接。 语言网络有两个非常重要的特性 首先语言区域表现出输入和输出模态的独立性这是表征抽象性的关键特征。主要表现为在理解过程中这些大脑区域对跨模态口头、书面或手语的语言输入做出反应。同样在语言生成过程中无论我们是通过口语还是书面语来产生信息这些区域都是活跃的。这些区域支持语言理解和生成图 1a这一事实表明它们很可能存储了我们的语言知识这对于编码和解码语言信息都是必需的。 其次语言区还能对词义和句法结构进行表征和处理。特别是关于脑磁图和颅内记录研究的证据表明语言网络的所有区域都对词义以及词间句法和语义依赖性敏感图 1a。总之语言网络中语言表征的抽象性以及网络对语言意义和结构的敏感性使其成为评估语言在思维和认知中的作用假设的明确目标(Box 3。 我们对人类语言和认知能力以及它们之间关系的理解仍然不完整还有一些悬而未决的问题 语言表征的本质是什么 思维是否依赖于符号表征 儿童学习语言时语言网络是如何成长的 语言对于任何经过检验的思维形式都不是必需的 经典的方法是通过研究大脑损伤或疾病的个体来推断大脑与行为之间的关联和分离。这种方法依赖于观察大脑某部分受损时个体行为的变化从而推测不同大脑区域的功能和行为之间的联系。 有证据表明 —— 有许多个体在语言能力上有严重的障碍影响到词汇和句法能力但他们仍然表现出在许多思考形式上的完整能力他们可以解决数学问题进行执行规划和遵循非言语指令参与多种形式的推理包括形式逻辑推理、关于世界的因果推理和科学推理见图 1b。 研究表明尽管失去了语言能力一些患有严重失语症的人仍然能够进行所有测试形式的思考和推理他们在各种认知任务中的完整表现就是明证。他们根本无法将这些想法映射到语言表达上无论是在语言生成中他们无法通过语言向他人传达自己的想法还是在理解中他们无法从他人的单词和句子中提取意义图 1b。当然在某些脑损伤病例中语言能力和某些思维能力都可能受到影响但考虑到语言系统与其他高级认知系统的接近性这是可以预料的。 尤其是一些聋哑儿童他们长大后很少或根本没有接触过语言因为他们听不见说话而他们的父母或看护人不懂手语。缺乏语言接触会对认知的许多方面产生有害影响这是可以预料的因为语言是了解世界的重要信息来源。尽管如此语言剥夺的个体无疑表现出复杂的认知功能能力他们仍然可以学习数学、进行关系推理、建立因果链并获得丰富而复杂的世界知识。换句话说缺乏语言表征并不会使人从根本上无法进行复杂的包括符号的思考尽管推理的某些方面确实表现出延迟。因此在典型的发展中语言和推理是平行发展的。 完整的语言并不意味着完整的思维 以上证据表明迄今为止测试的所有类型的思维都可以在没有语言的情况下实现。 接下来论文讨论了语言和思维双重分离的另一面与语言介导思维的观点相反完整的语言系统似乎并不意味着完整的推理能力。 人类语言是由交流压力塑造的。 来自发育性和后天性脑部疾病的证据表明即使语言能力基本完好也可能存在智力障碍。 例如有些遗传疾病导致智力受损程度不同但患有这些疾病的人的语言能力似乎接近正常水平还有一些精神层面有缺陷的人会影响思考和推理能力但同样不会影响语言。最后许多获得性脑损伤的个体在推理和解决问题方面表现出困难但他们的语言能力似乎完好无损。换句话说拥有完整的语言系统并不意味着自动具备思考能力即使语言能力完好无损思考能力也可能受损。 总的来说这篇论文回顾了过去二十年的相关工作。失语症研究的证据表明所有经过检验的思维形式在没有语言的情况下都是可能的。fMRI 成像证据表明参与多种形式的思考和推理并不需要语言网络。因此语言不太可能成为任何形式思维的关键基础。 MIT 研究得出结论的同时顶尖 AI 领域学者最近也发表了对大模型发展的担忧。上个星期四 Claude 3.5 的发布号称拥有研究生水平的推理能力提升了行业的标准。不过也有人表示经过实测可见它仍然具有 Transformer 架构的局限性。 对此图灵奖获得者 Yann LeCun 表示问题不在于 Transformer而是因为 Claude 3.5 仍然是一个自回归大模型。无论架构细节如何使用固定数量的计算步骤来计算每个 token 的自回归 LLM 都无法进行推理。 LeCun 也评论了这篇 Nature 论文对思维不等于语言表示赞同。 对此你怎么看 参考内容
https://news.ycombinator.com/item?id40756176
https://x.com/ylecun/status/1804834054954459539
