西安网站建设那家强,深圳吧,建设银行官方网首页,网站制作哪家公司好分类目录#xff1a;《自然语言处理从入门到应用》总目录 当我们需要处理长文本时#xff0c;有必要将文本分割成块。虽然这听起来很简单#xff0c;但这里存在很多潜在的复杂性。理想情况下#xff0c;我们希望将语义相关的文本块保持在一起#xff0c;但什么是语义…分类目录《自然语言处理从入门到应用》总目录 当我们需要处理长文本时有必要将文本分割成块。虽然这听起来很简单但这里存在很多潜在的复杂性。理想情况下我们希望将语义相关的文本块保持在一起但什么是语义相关可能取决于文本的类型。本文就展示了几种实现这一目标的方法。
在高层次上文本分割器的工作原理如下
将文本分割成小的、语义有意义的块通常是句子。开始将这些小块组合成较大的块直到达到一定的大小由某个函数衡量。一旦达到该大小将该块作为自己的文本片段然后开始创建一个具有一定重叠的新文本块以保持块之间的上下文。
这意味着有两个不同的方向可以定制文本分割器
文本如何被分割块的大小如何衡量
默认推荐的文本分割器是RecursiveCharacterTextSplitter。该文本分割器接受一个字符列表作为参数。它尝试根据第一个字符进行分块但如果有任何分块过大它将继续尝试下一个字符依此类推。默认情况下它尝试进行分割的字符是\n\n、\n等。除了控制分割的字符之外我们还可以控制其他一些内容
length_function如何计算分块的长度。默认只计算字符数但通常在这里传递一个标记计数器。chunk_size分块的最大大小由长度函数测量。chunk_overlap分块之间的最大重叠量。保持一些重叠可以保持分块之间的连续性例如使用滑动窗口。add_start_index是否在元数据中包含每个分块在原始文档中的起始位置。
# This is a long document we can split up.
with open(../../state_of_the_union.txt) as f:state_of_the_union f.read()
from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter RecursiveCharacterTextSplitter(# Set a really small chunk size, just to show.chunk_size 100,chunk_overlap 20,length_function len,add_start_index True,
)
texts text_splitter.create_documents([state_of_the_union])
print(texts[0])
print(texts[1])输出
page_contentMadam Speaker, Madam Vice President, our First Lady and Second Gentleman. Members of Congress and metadata{start_index: 0} page_contentof Congress and the Cabinet. Justices of the Supreme Court. My fellow Americans. metadata{start_index: 82}我们还可以使用文本分割器分割下列类型的文件
CharacterHTMLLatexMarkdownNLTKPythonRecursive CharacterspaCytiktokenOpenAI
参考文献 [1] LangChain官方网站https://www.langchain.com/ [2] LangChain ️ 中文网跟着LangChain一起学LLM/GPT开发https://www.langchain.com.cn/ [3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架http://www.cnlangchain.com/
