英文外贸网站,推广引流方案,网站建设推广软文案例,大型网站建设制作公司GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区#xff0c;集成了生成预训练Transformer#xff08;GPT#xff09;、人工智能生成内容#xff08;AIGC#xff09;以及大语言模型#xff08;LLM#xff09;等安全领域应用的知识。在这里#xff0c;您可以找… GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区集成了生成预训练TransformerGPT、人工智能生成内容AIGC以及大语言模型LLM等安全领域应用的知识。在这里您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令Prompts。现为了更好地知悉近一周的贡献内容现总结如下。 Security Papers 1. GitHub Copilot 在编程方面表现出色但它是否确保了负责任的输出
简介大语言模型LLMs的快速发展极大地推动了代码补全工具LCCTs的进化。这些工具通过整合多种信息源并优先提供代码建议与传统LLMs不同它们在安全方面面临独特挑战。特别是LCCTs在训练时依赖专有代码数据集这可能增加敏感数据泄露的风险。研究表明LCCTs存在显著的安全漏洞例如针对GitHub Copilot的越狱攻击成功率高达99.4%而从其中提取敏感用户数据的成功率也相当高。这些发现强调了LCCTs在安全方面的挑战并为加强其安全框架提供了重要方向。
链接
https://arxiv.org/abs/2408.11006
2. 语言模型应用程序中的数据泄露对 OpenAI 的 GPT 产品的深入调查
简介研究者们在探索大语言模型LLM应用的数据实践透明度时以OpenAI的GPT应用生态系统作为案例研究。他们开发了一个基于LLM的框架对GPT及其动作外部服务的源代码进行了静态分析以揭示其数据收集的做法。研究发现这些动作收集了大量用户数据包括OpenAI明令禁止的敏感信息如密码。此外一些与广告和分析相关的动作嵌入在多个GPT中使得它们能够跨平台追踪用户活动。动作的共现还可能导致用户数据的进一步暴露增加了隐私风险。研究者还开发了一个基于LLM的隐私政策分析框架用以自动检查动作的数据收集是否与隐私政策中的披露相一致。结果显示大多数收集的数据类型在隐私政策中并未明确披露仅有5.8%的动作清晰地说明了它们的数据收集实践。这一发现强调了LLM应用在数据实践透明度方面存在的问题并指出了加强隐私保护措施的必要性。
链接
https://arxiv.org/abs/2408.13247
3. 去伪存真利用执行反馈对生成的代码候选进行排序
简介大语言模型LLMs如GPT-4、StarCoder和CodeLlama正在改变编程方式通过自然语言描述自动生成代码。尽管如此生成正确代码仍然具有挑战性。为了提高正确代码的生成率开发者通常使用LLMs生成多个候选解决方案然后进行代码排名即从多个候选代码中选择正确的一个。现有的代码排名研究主要分为基于执行和非基于执行的方法。基于执行的方法虽然有效但受限于高质量单元测试的稀缺和潜在的安全风险。而非基于执行的方法如CodeRanker主要依赖分类标签进行训练难以捕捉细微错误和提供错误洞察。
为了克服这些限制研究者提出了一种新的方法——RankEF。RankEF是一种创新的代码排名方法它利用执行反馈并通过多任务学习整合代码分类与执行反馈生成。这种方法使模型能够在不执行代码的情况下理解错误代码的原因并区分正确与错误的解决方案。在三个代码生成基准上的实验显示RankEF显著优于现有的CodeRanker展现出在代码排名方面的高效性和准确性。
链接
https://arxiv.org/abs/2408.13976
4. 调查贝叶斯垃圾邮件过滤器在检测经语言模型修改的垃圾邮件中的有效性
简介垃圾邮件和网络钓鱼是网络安全的重大威胁贝叶斯垃圾邮件过滤器如 SpamAssassin 是重要防御工具。但大语言模型的出现带来新挑战因其强大、易获取且成本低可能被用于制作复杂垃圾邮件逃避传统过滤器。研究者开发管道测试 SpamAssassin 对经语言模型修改邮件的有效性结果显示其会将高达 73.7%的此类邮件误分类为合法邮件而简单字典替换攻击成功率仅 0.4%。这凸显了经语言模型修改的垃圾邮件的重大威胁及成本效益。该研究为当前垃圾邮件过滤器的漏洞及网络安全措施的持续改进提供了关键见解。
链接
https://arxiv.org/abs/2408.14293
5. 检测人工智能缺陷针对语言模型内部故障的目标驱动攻击
简介大语言模型LLMs在人工智能领域的重要性日益凸显但这些模型在预训练语料中可能包含有害内容导致生成不适当的输出。为了提高LLMs的安全性研究人员探索了检测模型内部缺陷的方法。目前的研究主要集中在越狱攻击上这些攻击通过构建对抗性内容来诱导模型产生意外响应。然而这些方法依赖于提示工程既耗时又需要特别设计的问题。
为了解决这些挑战研究人员提出了一种新的攻击范式即目标驱动的攻击它专注于直接引出目标响应而不是优化提示。研究中引入了名为ToxDet的LLM作为有毒内容的检测器。ToxDet能够根据目标有毒响应生成可能的问题和初步答案以诱导目标模型产生与提供含义相当的有毒响应。ToxDet通过与目标LLM交互并接收奖励信号进行训练利用强化学习优化过程。尽管ToxDet主要针对开源LLMs但经过微调后它也可以转移到攻击如GPT-4o这样的黑盒模型并取得了显著结果。在AdvBench和HH-Harmless数据集上的实验结果证明了该方法在检测目标LLMs生成有害响应倾向方面的有效性。这不仅揭示了LLMs的潜在漏洞还为研究人员提供了加强模型抵御此类攻击的宝贵资源。
链接
https://arxiv.org/abs/2408.14853
6. 参数高效的量化专家混合体与视觉 - 语言指令调优在半导体电子显微图像分析中的应用
简介研究者指出半导体在基础模型中研究不足需增强半导体器件技术。为此他们推出了 sLAVA一个针对半导体制造的小型视觉语言助手专注于电子显微镜图像分析。采用师生范式以 GPT-4 等基础视觉语言模型为教师为 sLAVA 创建遵循指令的多模态数据解决数据稀缺问题可在预算有限的消费级硬件上进行任务且企业能在自身基础设施内用专有数据安全微调框架以保护知识产权。严格实验表明该框架超越传统方法能处理数据偏移并实现高通量筛选有助于半导体制造中的电子显微镜图像分析为企业提供了一种有效的解决方案也为半导体技术发展提供了新的思路和方法。
链接
https://arxiv.org/abs/2408.15305
