德芙巧克力网站开发方案,珠海seo推广,评测主题 wordpress,wordpress 很差LLaMA-Factory 使用 alpaca 格式的数据集
flyfish
alpaca 格式最初与Stanford大学的一个研究项目相关联#xff0c;该项目旨在通过少量高质量的数据来微调大型语言模型。它受到了Alpaca模型#xff08;一种基于LLaMA的指令跟随模型#xff09;的影响#xff0c;该模型是在…LLaMA-Factory 使用 alpaca 格式的数据集
flyfish
alpaca 格式最初与Stanford大学的一个研究项目相关联该项目旨在通过少量高质量的数据来微调大型语言模型。它受到了Alpaca模型一种基于LLaMA的指令跟随模型的影响该模型是在Meta AI的LLaMA基础上进行改进而来的。
alpaca 格式的数据集应遵循以下格式
[{instruction: user instruction (required),input: user input (optional),output: model response (required),system: system prompt (optional),history: [[user instruction in the first round (optional), model response in the first round (optional)],[user instruction in the second round (optional), model response in the second round (optional)]]}
]在 data/dataset_info.json 文件中提供您的数据集定义并采用以下格式
对于 alpaca 格式的数据集其 dataset_info.json 文件中的列应为
dataset_name: {file_name: dataset_name.json,columns: {prompt: instruction,query: input,response: output,system: system,history: history}
}字段作用
instruction: 用户给出的指令或问题是必须提供的信息。 input: 可选的额外输入信息可以为空用于提供给定指令的上下文或具体例子。 output: 模型根据指令和输入产生的响应是必须提供的信息。 system: 可选的系统提示用来为整个对话设定场景或提供指导原则。 history: 一个列表包含之前轮次的对话记录每一对都是用户消息和模型回复。这有助于保持对话的一致性和连贯性。
示例1: 单轮对话
[{instruction: 解释一下什么是人工智能。,input: ,output: 人工智能Artificial Intelligence, AI是指由人制造出来的具有一定智能的系统能够理解和学习人类的行为并且能够执行任务、解决问题以及适应新环境。它通常包括机器学习、自然语言处理、计算机视觉等技术领域。,system: 你是一位专业的AI讲师。,history: []}]在这个例子中
instruction 是用户给模型的指令。 input 字段为空因为没有额外的信息提供给模型。 output 是模型根据指令生成的回答。 system 提供了一个角色设定让模型扮演一位AI讲师。 history 列表为空表示这是一个新的对话之前没有对话历史。
示例2: 多轮对话
[{instruction: 告诉我明天济南的天气。,input: ,output: 明天济南的天气预报显示是晴天气温大约在15到25摄氏度之间。,system: 你是一位气象专家。,history: [[今天济南的天气怎么样, 今天济南的天气是多云转晴气温大约在10到20摄氏度之间。]]},{instruction: 那后天呢,input: ,output: 后天济南可能会有小雨气温会稍微下降一些预计在13到22摄氏度左右。,system: 你是一位气象专家。,history: [[今天济南的天气怎么样, 今天济南的天气是多云转晴气温大约在10到20摄氏度之间。],[告诉我明天济南的天气。, 明天济南的天气预报显示是晴天气温大约在15到25摄氏度之间。]]}]在这个多轮对话的例子中
第一条记录包含了用户询问明天济南天气的指令以及模型给出的回答。 history 包含了前一轮对话的内容这样可以让模型理解当前对话的上下文。 第二条记录则是继续上一轮的对话询问后天的天气情况同时history也更新为包含前面所有对话的历史。
模型能够一次性从新闻文章中提取出多个关键信息如事件类型、地点、时间等alpaca格式的数据集
[{instruction: 从以下文本中提取发生的事件类型、地点和时间。,input: 昨天在加州的一家购物中心发生了一起火灾事故幸好没有人员伤亡。,output: 事件类型: 火灾; 地点: 加州; 时间: 昨天,system: 你是一位信息分析师擅长从文本中提取关键信息。,history: []},{instruction: 从以下文本中提取发生的事件类型、地点和时间。,input: 本周三加州市中心的一座办公楼发生了爆炸造成多人受伤。,output: 事件类型: 爆炸; 地点: 加州市中心; 时间: 本周三,system: 你是一位信息分析师擅长从文本中提取关键信息。,history: []},{instruction: 从以下文本中提取发生的事件类型、地点和时间。,input: 上个月底加州的一个工业园区内发生化学品泄漏导致附近居民紧急疏散。,output: 事件类型: 化学品泄漏; 地点: 加州的一个工业园区; 时间: 上个月底,system: 你是一位信息分析师擅长从文本中提取关键信息。,history: []}
]instruction 给出了明确的任务指示即从给定文本中提取事件类型、地点和时间。 input 是包含相关信息的原始新闻文本。 output 则是模型应该生成的答案它以结构化的方式列出了所有的关键信息。 system 提供了角色设定帮助模型理解其任务背景。 history 在这个情况下为空因为每个条目都是独立的单轮对话。
