Token Splitter 节点#
Token Splitter 节点通过以下步骤将原始文本字符串进行分割：首先将文本转换为 BPE（Byte Pair Encoding）tokens，然后将这些 tokens 分割成多个块（chunks），最后将每个块内的 tokens 重新转换回文本。
在本页面中，您将找到 Token Splitter 节点的参数设置以及更多相关资源的链接。
子节点中的参数解析#
当使用表达式处理多个数据项时，子节点（sub-nodes）的行为与其他节点有所不同。
大多数节点（包括根节点）可以接收任意数量的数据项作为输入，逐个处理这些项并输出结果。您可以使用表达式引用输入项，节点会依次对每一项解析该表达式。例如，如果有五个 name 值作为输入，表达式 {{ $json.name }} 将依次解析为每一个名称。
而在子节点中，表达式始终解析为第一个输入项。例如，即使有五个 name 值作为输入，表达式 {{ $json.name }} 也总是解析为第一个名称。
节点参数#
- Chunk Size（块大小） : 输入每个文本块包含的字符数量。
- Chunk Overlap（块重叠） : 输入相邻文本块之间重叠的部分大小。
模板与示例#
🤖 面向文档的 AI 驱动 RAG 聊天机器人 + Google Drive + Gemini + Qdrant 作者：Joseph LePage 查看模板详情 用于客户服务和餐厅的 ElevenLabs 与 OpenAI 语音聊天机器人 作者：Davide 查看模板详情 使用 OpenAI 构建完整的商业级 WhatsApp AI 驱动 RAG 聊天机器人 作者：Davide 查看模板详情 浏览 Token Splitter 集成模板，或 搜索所有模板
相关资源#
更多服务信息，请参考 LangChain 的 token 文档 和 LangChain 的文本分割器文档。 查看 n8n 的 高级 AI 文档。
查阅文档 本页面 {{!Thumbs up有帮助}} {{!Thumbs down无帮助}} 感谢您的反馈！ 提交
上一篇 递归字符文本分割器 下一篇 AI Agent 工具
由 Material for MkDocs Insiders 提供支持