成都企业网站建设及公司ppt,怎么选择无锡网站建设,万盛集团网站建设,wordpress 国内 优化文章目录 Chat-GPT引言关键技术——预训练研究问题玩文字冒险游戏 ChatGPT原理剖析 Chat-GPT引言
直观感受#xff1a;结果有模有样、每次输出结果都不同、可以追问、幻想出的答案误解#xff1a;罐头回答、答案是网络搜索的结果真正做的事#xff1a;文字接龙#xff0c;… 文章目录 Chat-GPT引言关键技术——预训练研究问题玩文字冒险游戏 ChatGPT原理剖析 Chat-GPT引言
直观感受结果有模有样、每次输出结果都不同、可以追问、幻想出的答案误解罐头回答、答案是网络搜索的结果真正做的事文字接龙function几率分布 - 采样 不仅包含现在的输入还有过去的输入大语言模型 文字接龙 训练寻找函数的过程使用了网络资料 测试没有联网
关键技术——预训练 一般的机器学习 督导式学习
人类提供资料有限GPT就无法回答 使用网络上的文字来教GPT学习
GPT2018年 117M模型1G数据。单纯用网络资料学习GPT-22019年1542M模型40G数据。开始像模像样地瞎掰可以回答问题GPT-32020年175B模型45T资料筛选出的570G数据哈利波特全集的30w倍。可以写程序了。 参数量越大正确率越高但似乎接近极限了 网络资料的缺陷不受控 解决督导式学习微调 预训练的帮助也许人类不需要教会GPT所有语言。只教会GPT某一个语言的某种任务自动学会其他语言的相同任务 多种语言预训练只在某种语言上微调 增强式学习只需要人判断答案好不好就行
研究问题
对NLP领域影响很大也带来了新的研究方向。
如何精准提升需求催眠Prompting。有没有更好的方式找到prompting 如何更正错误把某一个答案弄对弄错了更多答案 侦测AI生成的物件 不小心泄露人类秘密 machine unlearning 玩文字冒险游戏
提供足够的promptingmidjourney生成图片
