关于文本切分的技术问题

[maquannene]

看了 FastGPT 关于文本切分部分的代码，目前最新版本使用的是自己实现的 splitText2Chunks 这个方法进行切分，想请教一下为什么这里选择自己实现 split 而不是使用 langchain 提供的 split？

[c121914yu]

为什么要用 langchain 的呢？他有什么特点么？有什么优势么？

[c121914yu]

当然，对我而已，最核心的是因为我觉得 langchain 的split没啥特色，而且不方便定制，不如自己写一份可以任意适配。 尤其是，有时候 read file 时候加入一些特殊符号时候，可以进行一些特殊的分割操作。

[maquannene]

感谢回答。
没有质疑的意思，我在做一些对比测试，发现参数基本同样的情况下，不使用自定义 reg，splitText2Chunks 效果是要好于 langchain 的。
看了一下是在 stepReges 这部分做了很多工作，正在研究中...
所以顺便问一下，自己实现的原因以及一些背后的优化点。

[c121914yu]

感谢回答。
没有质疑的意思，我在做一些对比测试，发现参数基本同样的情况下，不使用自定义 reg，splitText2Chunks 效果是要好于 langchain 的。
看了一下是在 stepReges 这部分做了很多工作，正在研究中...
所以顺便问一下，自己实现的原因以及一些背后的优化点。

嗯。选用某个方案的一种判断是，判断该方案的优势和成本。
如果方案成本低，但是并没有什么优势，反推过来也不是很有使用的必要。

再比如说一些语义分割，那目前没使用的原因，主要考虑是成本和通用性。