有没有什么网站专门帮人做问卷,做淘宝客网站需要注意什么,网站推广的平台,四川省成都市建设厅官网不同于互联网上随处可见的传统问题库#xff0c;这些问题需要跳出常规思维。
大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能#xff0c;并在诸多行业中推动了效率和创新性的提升#xff0c;成为企业保持竞争…不同于互联网上随处可见的传统问题库这些问题需要跳出常规思维。
大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能并在诸多行业中推动了效率和创新性的提升成为企业保持竞争力的关键。
然而尽管GenAI和LLM越来越常见但我们依然缺少能深入理解其复杂性的详细资源。职场新人在进行GenAI和LLM功能以及实际应用的面试时往往会觉得自己像是陷入了未知领域。
为此我们编写了这份指导手册收录了7个有关GenAI LLM的技术性面试问题。这份指南配有深入的答案旨在帮助您更好地迎接面试以充足的信心来应对挑战以及更深层次地理解GenAI LLM在塑造人工智能和数据科学未来方面的影响和潜力。
1. 如何在Python中使用嵌入式字典构建知识图谱?
一种方法是使用哈希(Python中的字典也称为键-值表)其中键(key)是单词、令牌、概念或类别例如“数学”(mathematics)。每个键(key)对应一个值(value)这个值本身就是一个哈希嵌套哈希(nested hash)。嵌套哈希中的键也是一个与父哈希中的父键相关的单词例如“微积分”(calculus)之类的单词。该值是一个权重“微积分”的值高因为“微积分”和“数学”是相关的并且经常出现在一起;相反地“餐馆”(restaurants)的值低因为“餐馆”和“数学”很少出现在一起。
在LLM中嵌套哈希可能是embedding(一种将高维数据映射到低维空间的方法通常用于将离散的、非连续的数据转换为连续的向量表示以便于计算机进行处理)。由于嵌套哈希没有固定数量的元素因此它处理离散图谱的效果远远好于矢量数据库或矩阵。它带来了更快的算法且只需要很少的内存。
2. 当数据包含1亿个关键字时如何进行分层聚类?
如果想要聚类关键字那么对于每一对关键字{A, B}你可以计算A和B之间的相似度获悉这两个词有多相似。目标是生成相似关键字的集群。
Sklearn等标准Python库提供凝聚聚类(agglomerative clustering)也称为分层聚类(hierarchical clustering)。然而在这个例子中它们通常需要一个1亿x 1亿的距离矩阵。这显然行不通。在实践中随机单词A和B很少同时出现因此距离矩阵是非常离散的。解决方案包括使用适合离散图谱的方法例如使用问题1中讨论的嵌套哈希。其中一种方法是基于检测底层图中的连接组件的聚类。
3. 如何抓取像Wikipedia这样的大型存储库以检索底层结构而不仅仅是单独的条目?
这些存储库都将结构化元素嵌入到网页中使内容比乍一看更加结构化。有些结构元素是肉眼看不见的比如元数据。有些是可见的并且也出现在抓取的数据中例如索引、相关项、面包屑或分类。您可以单独检索这些元素以构建良好的知识图谱或分类法。但是您可能需要从头开始编写自己的爬虫程序而不是依赖Beautiful Soup之类的工具。富含结构信息的LLM(如xLLM)提供了更好的结果。此外如果您的存储库确实缺乏任何结构您可以使用从外部源检索的结构来扩展您的抓取数据。这一过程称为“结构增强”(structure augmentation)。
4. 如何用上下文令牌增强LLM embeddings?
Embeddings由令牌组成;这些是您可以在任何文档中找到的最小的文本元素。你不一定要有两个令牌比如“数据”和“科学”你可以有四个令牌“数据^科学”、“数据”、“科学”和“数据~科学”。最后一个表示发现了“数据科学”这个词。第一个意思是“数据”和“科学”都被发现了但是在一个给定段落的随机位置而不是在相邻的位置。这样的令牌称为多令牌(multi-tokens)或上下文令牌。它们提供了一些很好的冗余但如果不小心您可能会得到巨大的embeddings。解决方案包括清除无用的令牌(保留最长的一个)和使用可变大小的embeddings。上下文内容可以帮助减少LLM幻觉。
5. 如何实现自校正(self-tuning)以消除与模型评估和训练相关的许多问题?
这适用于基于可解释人工智能的系统而不是神经网络黑匣子。允许应用程序的用户选择超参数并标记他喜欢的那些。使用该信息查找理想的超参数并将其设置为默认值。这是基于用户输入的自动强化学习。它还允许用户根据期望的结果选择他最喜欢的套装使您的应用程序可定制。在LLM中允许用户选择特定的子LLM(例如基于搜索类型或类别)可以进一步提高性能。为输出结果中的每个项目添加相关性评分也有助于微调您的系统。
6. 如何将矢量搜索的速度提高几个数量级?
在LLM中使用可变长度(variable-length)embeddings极大地减少了embeddings的大小。因此它可以加速搜索以查找与前端提示符中捕获到的相似的后端embeddings。但是它可能需要不同类型的数据库例如键-值表(key-value tables)。减少令牌的大小和embeddings表是另一个解决方案在一个万亿令牌系统中95%的令牌永远不会被提取来回答提示。它们只是噪音因此可以摆脱它们。使用上下文令牌(参见问题4)是另一种以更紧凑的方式存储信息的方法。最后在压缩embeddings上使用近似最近邻搜索(approximate nearest neighborANN)来进行搜索。概率版本(pANN)可以运行得快得多见下图。最后使用缓存机制来存储访问最频繁的embeddings 或查询以获得更好的实时性能。 概率近似最近邻搜索(pANN)
根据经验来看将训练集的大小减少50%会得到更好的结果过度拟合效果也会大打折扣。在LLM中选择几个好的输入源比搜索整个互联网要好。对于每个顶级类别都有一个专门的LLM而不是一刀切这进一步减少了embeddings的数量每个提示针对特定的子LLM而非整个数据库。
7. 从你的模型中获得最佳结果的理想损失函数是什么?
最好的解决方案是使用模型评估指标作为损失函数。之所以很少这样做是因为您需要一个损失函数它可以在神经网络中每次神经元被激活时非常快地更新。在神经网络环境下另一种解决方案是在每个epoch之后计算评估指标并保持在具有最佳评估分数的epoch生成解决方案上而不是在具有最小损失的epoch生成解决方案上。
我目前正在研究一个系统其中的评价指标和损失函数是相同的。不是基于神经网络的。最初我的评估指标是多元Kolmogorov-Smirnov距离(KS)。但如果没有大量的计算在大数据上对KS进行原子更新(atomic update)是极其困难的。这使得KS不适合作为损失函数因为你需要数十亿次原子更新。但是通过将累积分布函数(cumulative distribution)改变为具有数百万个bins参数的概率密度函数(probability density function)我能够想出一个很好的评估指标它也可以作为损失函数。
