Support extra documentation(类似于 cursor 的 @docs)

[MissNanLan]

我看了下 cursor 的@docs 功能，添加一个 线上 url 地址之后，可以自定义 @name

这里有两个问题
1、我们也要支持 @name 的功能吧，如果支持这部分数据存放在哪里呢？应该是本地吧
2、另外一个问题，我们只支持线上 url 地址么？

问了下 AI，实现本地 RAG 的主要流程

步骤一：数据准备

• 收集数据：获取网页地址，并且解析网页 html？还有其他格式的吧，如 pdf等
  • 怎么获取： 用 node-fetch 或 axios 获取网页 HTML。
  • 怎么解析：用 cheerio 解析
• 切分 chunk：将大文件按函数、类、段落等切分成小块（chunk），每块几百字为宜
  • 怎么切分： 用这个 cheerio 库切分

步骤二：调用大模型将 chunk 进行向量化

是不是所有的大模型都支持Emedding？如果不是，错误处理？
将每个 chunk 向量化，存入本地向量数据库（如 FAISS、Chroma、Milvus）。我们应该用哪种？还是说存 json

步骤三：向量数据库检索

用户输入问题后，将问题向量化，在向量库中检索相关的 chunk。

步骤四：调用大模型生成答案

将检索到的 chunk 作为上下文，拼接用户问题，输入到 askQuery

[sorrycc]

差不多这个思路，但细活很多。 html to markdown 有现成方案，不用手动解析。RAG 应该也有现成库可以做。

[MissNanLan]

html 转 markdown，其他格式要不要考虑？

html to markdown 好像是 node-html-markdown
rag 的库 ts 版本 LangChain

[xierenyuan]

数据准备 应该优先查找 llms-full.txt https://llmstxt.org/