精品资料网官方网站,清爽网站模板,学做网站是什么专业,海外英文建站开启想象翅膀#xff1a;轻松实现文本生成模型的创作应用#xff0c;支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型#xff0c;开箱即用 TextGen: Implementation of Text Generation models
1.介绍
TextGen实现了多种文本生成模型#xff0c;包括轻松实现文本生成模型的创作应用支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型开箱即用 TextGen: Implementation of Text Generation models
1.介绍
TextGen实现了多种文本生成模型包括LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型开箱即用。
1.1 最新更新
[2023/06/15] v1.0.0版本: 新增ChatGLM/LLaMA/Bloom模型的多轮对话微调训练并发布医疗问诊LoRA模型shibing624/ziya-llama-13b-medical-lora。详见Release-v1.0.0
[2023/06/02] v0.2.7版本: 新增ChatGLM/LLaMA/Bloom模型的SFT微调训练并发布适用于通用对话和中文纠错的LoRA模型。详见Release-v0.2.7
1.2 相关介绍
ChatGLM本项目基于PyTorch实现了ChatGLM-6B模型LoRA微调训练和预测可以用于句子纠错、对话等文本生成任务LLaMA本项目基于PyTorch实现了LLaMA模型LoRA微调训练和预测可以用于对话生成任务和领域微调训练BLOOM本项目基于PyTorch实现了BLOOM模型LoRA微调训练和预测可以用于对话生成任务和领域微调训练UDA/EDA本项目实现了UDA(非核心词替换)、EDA和Back Translation(回译)算法基于TF-IDF将句子中部分不重要词替换为同义词随机词插入、删除、替换等方法产生新的文本实现了文本扩增Seq2Seq本项目基于PyTorch实现了Seq2Seq、ConvSeq2Seq、BART模型的训练和预测可以用于文本翻译、对话生成、摘要生成等文本生成任务T5本项目基于PyTorch实现了T5和CopyT5模型训练和预测可以用于文本翻译、对话生成、对联生成、文案撰写等文本生成任务GPT2本项目基于PyTorch实现了GTP2模型训练和预测可以用于文章生成、对联生成等文本生成任务SongNet本项目基于PyTorch实现了SongNet模型训练和预测可以用于规范格式的诗词、歌词等文本生成任务TGLS本项目实现了TGLS无监督相似文本生成模型是一种“先搜索后学习”的文本生成方法通过反复迭代学习候选集最终模型能生成类似候选集的高质量相似文本
1.2.1 支持模型
release基于textgen训练的中文模型模型已经release到HuggingFace models指定模型名称textgen会自动下载模型可直接使用。
ModelArchIntroductionTrain ScriptPredict Scriptshibing624/t5-chinese-coupletT5fine-tuned中文对联后的模型对联生成模型调研predict scriptshibing624/songnet-base-chinese-songciSongNetfine-tuned宋词后的模型training scriptpredict scriptshibing624/songnet-base-chinese-coupletSongNetfine-tuned对联后的模型training scriptpredict scriptshibing624/chatglm-6b-csc-zh-loraChatGLM-6B在27万中文拼写纠错数据shibing624/CSC上微调了一版ChatGLM-6B纠错效果有提升发布微调后的LoRA权重training scriptpredict scriptshibing624/chatglm-6b-belle-zh-loraChatGLM-6B在100万条中文ChatGPT指令Belle数据集BelleGroup/train_1M_CN上微调了一版ChatGLM-6B问答效果有提升发布微调后的LoRA权重training scriptpredict scriptshibing624/llama-13b-belle-zh-loraLLaMA-13B在100万条中文ChatGPT指令Belle数据集BelleGroup/train_1M_CN上微调了一版Llama-13B问答效果有提升发布微调后的LoRA权重training scriptpredict scriptshibing624/chinese-alpaca-plus-7b-hfLLaMA-7B中文LLaMA-Plus, Alpaca-Plus 7B版本在LLaMA-7B上扩充了中文词表并继续预训练120G文本通用领域在4M指令数据集上微调后得到的中文Alpaca-plus模型training scriptpredict scriptshibing624/chinese-alpaca-plus-13b-hfLLaMA-13B中文LLaMA-Plus, Alpaca-Plus 13B版本在LLaMA-13B上扩充了中文词表并继续预训练120G文本通用领域在4.3M指令数据集上微调后得到的中文Alpaca-plus模型training scriptpredict scriptshibing624/ziya-llama-13b-medical-loraLLaMA-13B在240万条中英文医疗数据集shibing624/medical上微调了一版Ziya-LLaMA-13B模型医疗问答效果有提升发布微调后的LoRA权重training scriptpredict script
1.2.2 模型评价得分
ModelArchIntroductionScoreLLaMA-7B-Chinese-AlpacaLLaMA-7B复用ymcui/Chinese-LLaMA-Alpaca的评估case和得分4.92LLaMA-13B-Chinese-AlpacaLLaMA-13B复用ymcui/Chinese-LLaMA-Alpaca的评估case和得分7.05ChatGLM-6BChatGLM-6B基于原生THUDM/chatglm-6b评估测试集得分7.16ChatGLM-6B-v1.1ChatGLM-6B基于原生THUDM/chatglm-6bv1.1英文优化版模型评估测试集得分7.18shibing624/chatglm-6b-belle-zh-loraChatGLM-6B基于THUDM/chatglm-6b加载shibing624/chatglm-6b-belle-zh-loraLoRA模型后评估测试集得分7.03facat/alpaca-lora-cn-13bLLaMA-13B基于decapoda-research/llama-13b-hf加载facat/alpaca-lora-cn-13bLoRA模型后评估测试集并标注得分4.13Chinese-Vicuna/Chinese-Vicuna-lora-13b-belle-and-guanacoLLaMA-13B基于decapoda-research/llama-13b-hf加载Chinese-Vicuna/Chinese-Vicuna-lora-13b-belle-and-guanacoLoRA模型后评估测试集并标注得分3.98shibing624/chinese-alpaca-plus-7b-hfLLaMA-7B使用ymcui/Chinese-LLaMA-Alpaca 合并模型方法合并HF权重后评估测试集并标注得分6.93shibing624/chinese-alpaca-plus-13b-hfLLaMA-13B使用ymcui/Chinese-LLaMA-Alpaca 合并模型方法合并HF权重后评估测试集并标注得分7.07TheBloke/vicuna-13B-1.1-HFLLaMA-13B使用原生vicuna-13B-1.1合并后的模型评估测试集并标注得分5.13IDEA-CCNL/Ziya-LLaMA-13B-v1LLaMA-13B使用姜子牙通用大模型V1评估测试集并标注得分6.63
说明
评估case详见在线文档中文LLM-benchmark多任务评估集(腾讯文档) https://docs.qq.com/sheet/DUUpsREtWbFBsUVJE?tabr7io7g 感谢韩俊明、杨家铭等同学的标注评估任务类型包括知识问答开放式问答数值计算诗词、音乐、体育娱乐写文章文本翻译代码编程伦理、拒答类多轮问答Score 评分是前100条10分制的平均分数人工打分越高越好评估数量少任务类型不够全面评分之间的大小关系有一些参考价值分数的绝对值没太大参考价值评估脚本tests/test_benchmark.py 使用fp16预测无int量化处理运行脚本可复现评估结果但生成结果具有随机性受解码超参、随机种子等因素影响。评测并非绝对严谨测试结果仅供晾晒参考结论ChatGLM-6B、LLaMA-13B的中文衍生模型包括alpaca-plus, vicuna, ziya的表现属于第一梯队原版LLaMA-7B的表现整体稍差些LLaMA-13B-Chinese-Alpaca是在原版LLaMA上扩充了中文词表并融入了约20G的通用中文语料后的指令微调模型表明了LLaMA的底座优秀具有强大的语言迁移能力ChatGLM这种原生的中文预训练模型更理解中文语义且在中文知识问答、开放式问答得分高LLaMA系列模型数值计算、中英翻译、代码编程类得分高经过中文预训练和SFT微调后的Chinese-LLaMA模型在中文诗词、娱乐、伦理类得分相较原版LLaMA有提升
2.demo展示
HuggingFace Demo: https://huggingface.co/spaces/shibing624/chinese-couplet-generate run example: examples/gradio_demo.py to see the demo:
python examples/gradio_demo.pymodel trained by examples/t5/T5_Finetune_Chinese_Couplet.ipynb
2.1 安装
pip install -U textgenor
install develop version:
pip install torch # conda install pytorch
git clone https://github.com/shibing624/textgen.git
cd textgen
python setup.py install2.2 ChatGLM-6B 模型
2.2.1 使用 ChatGLM-6B 微调后的模型
example: examples/chatglm/inference_demo.py
from textgen import ChatGlmModelmodel ChatGlmModel(chatglm, THUDM/chatglm-6b, peft_nameshibing624/chatglm-6b-csc-zh-lora)
r model.predict([对下面中文拼写纠错\n少先队员因该为老人让坐。\n答])
print(r) # [少先队员应该为老人让座。\n错误字因坐]PS由于使用了开发中的peft库可能由于版本更新导致LoRA模型加载失败建议使用下面的训练方法自己训练LoRA模型。
2.2.2 训练 ChatGLM-6B 微调模型
支持自定义训练数据集和训练参数数据集格式参考examples/data/zh_csc_test.tsv或者examples/data/json_files/belle_10.json支持AdaLoRA、LoRA、P_Tuning、Prefix_Tuning等部分参数微调方法也支持全参微调支持多卡训练支持混合精度训练
example: examples/chatglm/training_chatglm_demo.py
单卡训练
cd examples/chatglm
CUDA_VISIBLE_DEVICES0 python training_chatglm_demo.py --do_train --do_predict --num_epochs 1 --output_dir outputs_chatglm多卡训练
cd examples/chatglm
CUDA_VISIBLE_DEVICES0,1 torchrun --nproc_per_node 2 training_chatglm_demo.py --do_train --do_predict --num_epochs 202.2.3 基于微调(LoRA)模型继续训练
如果需要基于Lora模型继续训练可以使用下面的脚本合并模型为新的base model再微调训练即可。
执行以下命令
python -m textgen/chatglm/merge_peft_adapter.py \--base_model_name_or_path path_to_original_base_model_dir \--peft_model_path path_to_peft_model_dir \--output_dir path_to_output_dir 参数说明
--base_model_name_or_path存放HF格式的底座模型权重和配置文件的目录
--peft_model_path存放PEFT格式的微调模型权重和配置文件的目录
--output_dir指定保存全量模型权重的目录默认为./merged2.3 LLaMA 模型
2.3.1 使用 LLaMA 微调后的模型
example: examples/gpt/inference_demo.py show code example and result
import syssys.path.append(../..)
from textgen import GptModeldef generate_prompt(instruction):return fBelow is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:{instruction}\n\n### Response:model GptModel(llama, decapoda-research/llama-7b-hf, peft_nameziqingyang/chinese-alpaca-lora-7b)
predict_sentence generate_prompt(问用一句话描述地球为什么是独一无二的。\n答)
r model.predict([predict_sentence])
print(r) # [地球是唯一一颗拥有生命的行星。]2.3.2训练 LLaMA 微调模型
支持自定义训练数据集和训练参数数据集格式参考examples/data/zh_csc_test.tsv或者shibing624/alpaca-zh支持AdaLoRA、LoRA、P_Tuning、Prefix_Tuning等部分参数微调方法也支持全参微调支持多卡训练支持混合精度训练使用方法同上ChatGLM多卡训练
example: examples/llama/training_llama_demo.py
2.3.3 基于微调(LoRA)模型继续训练
如果需要基于Lora模型继续训练可以使用下面的脚本合并模型为新的base model再微调训练即可。
单LoRA权重合并适用于 Chinese-LLaMA, Chinese-LLaMA-Plus, Chinese-Alpaca
执行以下命令
python -m textgen/gpt/merge_peft_adapter.py \--base_model_name_or_path path_to_original_base_model_dir \--peft_model_path path_to_chinese_llama_or_alpaca_lora \--output_type [pth|huggingface]--output_dir path_to_output_dir 参数说明
--base_model_name_or_path存放HF格式的底座模型权重和配置文件的目录
--peft_model_path中文LLaMA/Alpaca LoRA解压后文件所在目录也可使用HF上的Lora模型名称如ziqingyang/chinese-alpaca-lora-7b会自动下载对应模型
--output_type: 指定输出格式可为pth或huggingface。若不指定默认为huggingface
--output_dir指定保存全量模型权重的目录默认为./merged
--offload_dir可选对于低内存用户需要指定一个offload缓存路径2.3.4 训练领域模型
Note: 为了全面的介绍训练医疗大模型的过程把4阶段训练方法(Pretraining, Supervised Finetuning, Reward Modeling and Reinforcement Learning)单独新建了一个reposhibing624/MedicalGPT请移步该repo查看训练方法。
2.4 BLOOM 模型
2.4.1训练 BLOOM 微调模型
example: examples/bloom/training_bloom_demo.py
2.5 ConvSeq2Seq 模型
训练并预测ConvSeq2Seq模型
example: examples/seq2sesq/training_convseq2seq_model_demo.py show code example and result
import argparse
from loguru import logger
import syssys.path.append(../..)
from textgen.seq2seq.conv_seq2seq_model import ConvSeq2SeqModeldef main():parser argparse.ArgumentParser()parser.add_argument(--train_file, default../data/zh_dialog.tsv, typestr, helpTraining data file)parser.add_argument(--do_train, actionstore_true, helpWhether to run training.)parser.add_argument(--do_predict, actionstore_true, helpWhether to run predict.)parser.add_argument(--output_dir, default./outputs/convseq2seq_zh/, typestr, helpModel output directory)parser.add_argument(--max_seq_length, default50, typeint, helpMax sequence length)parser.add_argument(--num_epochs, default200, typeint, helpNumber of training epochs)parser.add_argument(--batch_size, default32, typeint, helpBatch size)args parser.parse_args()logger.info(args)if args.do_train:logger.info(Loading data...)model ConvSeq2SeqModel(epochsargs.num_epochs, batch_sizeargs.batch_size,model_dirargs.output_dir, max_lengthargs.max_seq_length)model.train_model(args.train_file)print(model.eval_model(args.train_file))if args.do_predict:model ConvSeq2SeqModel(epochsargs.num_epochs, batch_sizeargs.batch_size,model_dirargs.output_dir, max_lengthargs.max_seq_length)sentences [什么是ai, 你是什么类型的计算机, 你知道热力学吗]print(inputs:, sentences)print(outputs:, model.predict(sentences))if __name__ __main__:main()output:
inputs: [什么是ai, 你是什么类型的计算机, 你知道热力学吗]
outputs: [人工智能是工程和科学的分支,致力于构建思维的机器。, 我的程序运行在python,所以我在任何运脑上工作, 我不能错热是一个疯狂的人工智能200年。]2.6 BART 模型
训练并预测BART模型
example: examples/seq2sesq/training_bartseq2seq_zh_demo.py
output:
inputs: [什么是ai, 你是什么类型的计算机, 你知道热力学吗]
outputs: [人工智能是工程和科学的分支,致力于构, 我的程序运行在python,所以我在任何电脑上, 什么是热力学吗]2.7 T5 模型
example: examples/t5/training_zh_t5_model_demo.py show code example and result
import argparse
from loguru import logger
import pandas as pd
import syssys.path.append(../..)
from textgen.t5 import T5Modeldef load_data(file_path):data []with open(file_path, r, encodingutf-8) as f:for line in f:line line.strip(\n)terms line.split(\t)if len(terms) 2:data.append([QA, terms[0], terms[1]])else:logger.warning(fline error: {line})return datadef main():parser argparse.ArgumentParser()parser.add_argument(--train_file, default../data/zh_dialog.tsv, typestr, helpTraining data file)parser.add_argument(--model_type, defaultt5, typestr, helpTransformers model type)parser.add_argument(--model_name, defaultLangboat/mengzi-t5-base, typestr, helpTransformers model or path)parser.add_argument(--do_train, actionstore_true, helpWhether to run training.)parser.add_argument(--do_predict, actionstore_true, helpWhether to run predict.)parser.add_argument(--output_dir, default./outputs/mengzi_t5_zh/, typestr, helpModel output directory)parser.add_argument(--max_seq_length, default50, typeint, helpMax sequence length)parser.add_argument(--num_epochs, default10, typeint, helpNumber of training epochs)parser.add_argument(--batch_size, default32, typeint, helpBatch size)args parser.parse_args()logger.info(args)if args.do_train:logger.info(Loading data...)# train_data: Pandas DataFrame containing the 3 columns - prefix, input_text, target_text.# - prefix: A string indicating the task to perform. (E.g. question, stsb)# - input_text: The input text. prefix is prepended to form the full input. (prefix: input_text)# - target_text: The target sequencetrain_data load_data(args.train_file)logger.debug(train_data: {}.format(train_data[:10]))train_df pd.DataFrame(train_data, columns[prefix, input_text, target_text])eval_data load_data(args.train_file)[:10]eval_df pd.DataFrame(eval_data, columns[prefix, input_text, target_text])model_args {reprocess_input_data: True,overwrite_output_dir: True,max_seq_length: args.max_seq_length,train_batch_size: args.batch_size,num_train_epochs: args.num_epochs,save_eval_checkpoints: False,save_model_every_epoch: False,evaluate_generated_text: True,evaluate_during_training: True,evaluate_during_training_verbose: True,use_multiprocessing: True,save_best_model: True,output_dir: args.output_dir,use_early_stopping: True,}# model_type: t5 model_name: Langboat/mengzi-t5-basemodel T5Model(args.model_type, args.model_name, argsmodel_args)def count_matches(labels, preds):logger.debug(flabels: {labels[:10]})logger.debug(fpreds: {preds[:10]})match sum([1 if label pred else 0 for label, pred in zip(labels, preds)])logger.debug(fmatch: {match})return matchmodel.train_model(train_df, eval_dataeval_df, matchescount_matches)print(model.eval_model(eval_df, matchescount_matches))if args.do_predict:model T5Model(args.model_type, args.output_dir)sentences [什么是ai, 你是什么类型的计算机, 你知道热力学吗]print(inputs:, sentences)print(outputs:, model.predict(sentences))if __name__ __main__:main()output:
inputs: [什么是ai, 你是什么类型的计算机, 你知道热力学吗]
outputs: [人工智能有两个广义的定义,任何拟人的机械,如在卡雷尔capeks, 我的程序运行在Python,所以我在任何电脑上工作!, 什么是热力学]2.8 GPT2 模型
2.8.1 中文GPT2 - 文章生成
使用中文数据集段落格式\n间隔训练GPT2模型可以用于诗歌生成、文章生成等任务。
example: examples/gpt2/training_zh_gpt2_demo.py
2.8.2 中文GPT2 - 对联生成
使用中文对联数据集tsv格式\t间隔自定义数据集读取Dataset训练GPT2模型可以用于对联生成、对话生成等任务。
example: examples/gpt2/training_couplet_gpt2_demo.py
GPT2 vs T5
都是从Transformer改进来的T5同时有编码器和解码器GPT2只有解码器T5的模型优势是处理给定输入产出对应输出的任务如翻译、对话、问答等GPT2的模型优势是自由创作如写一篇短文T5的对联生成效果好于GPT2、GPT2的诗词生成效果好于T5
对联生成模型调研古诗生成模型调研
2.9 SongNet 模型
格式控制的文本生成模型paper见SongNet: Rigid Formats Controlled Text Generation 适用于强韵律格式要求的诗歌、对联、歌词生成等任务。
example: examples/songnet/training_zh_songnet_demo.py
2.10 Keyword Text Augmentation(EDA/UDA)
example: examples/text_augmentation/text_augmentation_demo.py show code example and result
import syssys.path.append(..)
from textgen.augment import TextAugmentif __name__ __main__:docs [主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容,晚上肚子好难受,你会武功吗我不会,组装标题质量受限于广告主自提物料的片段质量且表达丰富度有限,]m TextAugment(sentence_listdocs)a docs[0]print(a)b m.augment(a, aug_opsrandom-0.2)print(random-0.2:, b)b m.augment(a, aug_opsinsert-0.2)print(insert-0.2:, b)b m.augment(a, aug_opsdelete-0.2)print(delete-0.2:, b)b m.augment(a, aug_opstfidf-0.2)print(tfidf-0.2:, b)b m.augment(a, aug_opsmix-0.2)print(mix-0.2:, b)output:
主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容
random-0.2: (主要陪陪机器学习、深度学习主要计算机视觉、智能对话系统受限于内容, [(研究, 陪陪, 2, 4), (、, 主要, 13, 15), (相关, 受限于, 27, 30)])
insert-0.2: (主要研究机器机器学习学习、深度深度学习、计算机视觉、智能对话系统相关内容, [(机器, 机器机器, 4, 8), (学习, 学习学习, 8, 12), (深度, 深度深度, 13, 17)])
delete-0.2: (主要研究机器学习、深度学习、计算机视觉、对话系统相关内容, [(智能, , 20, 20)])
tfidf-0.2: (一是研究机器学习、深度学习、计算机听觉、智能交谈系统密切相关内容, [(主要, 一是, 0, 2), (视觉, 听觉, 17, 19), (对话, 交谈, 22, 24), (相关, 密切相关, 26, 30)])
mix-0.2: (主要研究机器学习、深度学、计算机听觉、智能对话软件系统相关内容, [(学习, 学, 11, 12), (视觉, 听觉, 16, 18), (系统, 软件系统, 23, 27)])2.11 TGLS 模型无监督相似文本生成模型
无监督的中文电商评论生成从电商评论中提取用户表达观点的短句并进行组合来生成仿真评论。
example: examples/unsup_generation/unsup_generation_demo.py show code example and result
import os
import syssys.path.append(..)
from textgen.unsup_generation import TglsModel, load_listpwd_path os.path.abspath(os.path.dirname(__file__))samples load_list(os.path.join(pwd_path, ./data/ecommerce_comments.txt))
docs_text [[挺好的速度很快也很实惠不知效果如何,产品没得说买了以后就降价心情不美丽。,刚收到包装很完整不错,发货速度很快物流也不错同一时间买的两个东东一个先到一个还在路上。这个水水很喜欢不过盖子真的开了。盖不牢了现在。,包装的很好是正品,被种草兰蔻粉水三百元一大瓶囤货希望是正品好用收到的时候用保鲜膜包裹得严严实实只敢买考拉自营的护肤品,],[很温和清洗的也很干净不油腻很不错会考虑回购第一次考拉买护肤品满意,这款卸妆油我会无限回购的。即使我是油痘皮也不会闷痘同时在脸部按摩时还能解决白头的脂肪粒的问题。用清水洗完脸后非常的清爽。,自从用了fancl之后就不用其他卸妆了卸的舒服又干净,买贵了大润发才卖79。9。,],samples
]
m TglsModel(docs_text)
r m.generate(samples[:500])
print(size:, len(r))
for review in r:print(\t review)output:
美迪惠尔 N.M.F针剂水库保湿面膜有如下的20句评论其中有10句是真实用户评论10句是生成的评论能看出来么?
还不错还不错还不错还不错。
东西到了不知道好不好用。试用过后再来评价。到时看网评都还可以。
哺乳期唯一使用的护肤品每天都是素颜脸面全靠面膜吊着补水不粘腻一如既往的支持喜欢
搞活动时买的面膜不知道这个面膜是真是假敷在脸上面膜纸都有小水泡鼓起来。
很不错非常补水用过的都知道性价比之王好用又不贵正品用着放心物流也很快。
面膜非常好用哦。面膜薄薄的。好像是蚕丝面膜啊。精华很多呢。敷在脸上很舒服。感觉挺保湿的味道也挺好闻的。就是里面只有单纯的面膜直接敷脸上有点不好弄哈哈哈
还可以保湿效果不错水润润的每天贴一片脸也不干了用完了在买点不错还会继续回购的。
快递很快东西很赞想要得点考拉豆不容易还要三十个字。时间宝贵废话不说用过了就知道了
挺好用的朋友推荐来的
挺好用的淡淡的虽然不是很浓精华的感觉但是效果也蛮好的。划算
不得不说美迪惠尔的面膜是我用过的最好的面膜之一补水效果非常好没想到这么便宜的价格竟真的能买到真品。
保湿效果挺好的面膜很好用。
期待好的产品。
一打开包装里面的精华刚刚好用了补水补水效果不错物流非常快。
皮肤很光滑比上去速度快三天就到了。
前两天皮肤干燥连续敷了两个晚上感觉还不错补水效果明显可想而知精华液又多充足敷上以后凉凉的很舒服。
补水效果一般吧但是我用的韩国背回来的面膜纸不算薄希望好用会回购的敷上脸感觉比较清爽价格还不便宜。
希望好用面膜用过了很好用皮肤水嫩光滑白皙补水不错价格也合适。
就是精华液太少了保湿效果不错。
面膜的补水效果非常好保湿效果确实很赞这个面膜相对于胶原蛋白和美白的那两款的面膜纸要厚一些看着价格合适。前10句是真实用户评论后10句是生成的。
3.数据集 Dataset
3.1 SFT datasets
50万条中文ChatGPT指令Belle数据集BelleGroup/train_0.5M_CN100万条中文ChatGPT指令Belle数据集BelleGroup/train_1M_CN5万条英文ChatGPT指令Alpaca数据集50k English Stanford Alpaca dataset2万条中文ChatGPT指令Alpaca数据集shibing624/alpaca-zh69万条中文指令Guanaco数据集(Belle50万条Guanaco19万条)Chinese-Vicuna/guanaco_belle_merge_v1.0240万条中文医疗数据集(包括预训练数据和指令微调数据集)shibing624/medical5万条英文ChatGPT多轮对话数据集RyokoAI/ShareGPT52K80万条中文ChatGPT多轮对话数据集BelleGroup/multiturn_chat_0.8M116万条中文ChatGPT多轮对话数据集fnlp/moss-002-sft-data
3.2 Reward Model datasets
原版的oasst1数据集OpenAssistant/oasst12万条多语言oasst1的reward数据集tasksource/oasst1_pairwise_rlhf_reward11万条英文hh-rlhf的reward数据集Dahoas/full-hh-rlhf9万条英文reward数据集(来自Anthropic’s Helpful Harmless dataset)Dahoas/static-hh7万条英文reward数据集来源同上Dahoas/rm-static7万条繁体中文的reward数据集翻译自rm-staticliswei/rm-static-m2m100-zh7万条英文Reward数据集yitingxie/rlhf-reward-datasets3千条中文知乎问答偏好数据集liyucheng/zhihu_rlhf_3k
参考链接https://github.com/shibing624/textgen
如果github进入不了也可进入https://download.csdn.net/download/sinat_39620217/88205079 免费下载相关资料
