深圳营销型网站建设推广服务,网站添加模块,微信公众号直接上传wordpress,微信上做网站怎么做Yann LeCun 在 WGS 上说#xff1a;
目前的LLM不可能走到AGI#xff0c;原因很简单#xff0c;现在训练这些LLM所使用的数据量为10万亿个令牌#xff0c;也就是130亿个词#xff0c;如果你计算人类阅读这些数据需要多长时间#xff0c;一个人每天阅读8小时#xff0c;需…Yann LeCun 在 WGS 上说
目前的LLM不可能走到AGI原因很简单现在训练这些LLM所使用的数据量为10万亿个令牌也就是130亿个词如果你计算人类阅读这些数据需要多长时间一个人每天阅读8小时需要15万年才能读完。
但如果看一个4岁的孩子已经清醒了总共16,000个小时但如果你计算进入视觉皮层的数据量大约每秒20兆字节那么4年输入的数据量将是目前最大的LLM的50倍。
因此仅通过在文本上训练AI永远无法达到人类水平智能。
文本是一个非常贫瘠的信息来源带宽非常低只反映了人类知识的很小一部分。人类的大部分知识来自于我们与真实世界、与他人以及其他世界实体的互动而不是来自语言。
在AI取得真正的进步之前我们需要一些突破。这个突破将从哪里来可能是科学层面不会仅仅通过扩展现有的架构规模并在更多数据上训练它们就能实现。
首先随着我们增加LLM的数据量性能正在趋于饱和我们没有更多的数据已经用完了互联网上的所有公开数据所以这行不通不认可合成数据。
婴儿大约只需要九个月就能学会直觉物理学即物体如果没有支撑物就会因为重力而掉落他们使用的是哪种学习方式这仍然是一个谜我们正在努力解决这个问题但还需要一段时间。”
铅笔楼打个可能不太恰当的比方婴儿的大脑更像是预训练模型人类亿万年的进化史给每个人提供了通用智能模型每一个人究其一生只是在通用智能模型的基础之上作微调和对齐。
