Files
FastGPT/docSite/content/docs/use-cases/datasetEngine.md
2024-01-06 10:36:31 +08:00

6.1 KiB
Raw Blame History

title, description, icon, draft, toc, weight
title description icon draft toc weight
知识库结构讲解 本节会详细介绍 FastGPT 知识库结构设计,理解其 QA 的存储格式和多向量映射,以便更好的构建知识库。这篇介绍主要以使用为主,详细原理不多介绍。 dataset false true 502

理解向量

FastGPT 采用了 RAG 中的 Embedding 方案构建知识库,要使用好 FastGPT 需要简单的理解Embedding向量是如何工作的及其特点。

人类的文字、图片、视频等媒介是无法直接被计算机理解的,要想让计算机理解两段文字是否有相似性、相关性,通常需要将它们转成计算机可以理解的语言,向量是其中的一种方式。

向量可以简单理解为一个数字数组,两个向量之间可以通过数学公式得出一个距离,距离越小代表两个向量的相似度越大。从而映射到文字、图片、视频等媒介上,可以用来判断两个媒介之间的相似度。向量搜索便是利用了这个原理。

而由于文字是有多种类型,并且拥有成千上万种组合方式,因此在转成向量进行相似度匹配时,很难保障其精确性。在向量方案构建的知识库中,通常使用topk召回的方式,也就是查找前k个最相似的内容,丢给大模型去做更进一步的语义判断逻辑推理归纳总结,从而实现知识库问答。因此,在知识库问答中,向量搜索的环节是最为重要的。

影响向量搜索精度的因素非常多,主要包括:向量模型的质量、数据的质量(长度,完整性,多样性)、检索器的精度(速度与精度之间的取舍)。与数据质量对应的就是检索词的质量。

检索器的精度比较容易解决,向量模型的训练略复杂,因此数据和检索词质量优化成了一个重要的环节。

FastGPT 中向量的结构设计

FastGPT 采用了 PostgresSQLPG Vector 插件作为向量检索器,索引为HNSW。且PostgresSQL仅用于向量检索,MongoDB用于其他数据的存取。

PostgresSQL的表中,设置一个 index 字段用于存储向量,以及一个data_id用于在MongoDB中寻找对应的映射值。多个index可以对应一组data_id,也就是说,一组向量可以对应多组数据。在进行检索时,相同数据会进行合并。

多向量的目的和使用方式

在一组向量中内容的长度和语义的丰富度通常是矛盾的无法兼得。因此FastGPT 采用了多向量映射的方式,将一组数据映射到多组向量中,从而保障数据的完整性和语义的丰富度。

你可以为一组较长的文本,添加多组向量,从而在检索时,只要其中一组向量被检索到,该数据也将被召回。

提高向量搜索精度的方法

  1. 更好分词分段:当一段话的结构和语义是完整的,并且是单一的,精度也会提高。因此,许多系统都会优化分词器,尽可能的保障每组数据的完整性。
  2. 精简index的内容,减少向量内容的长度:当index的内容更少,更准确时,检索精度自然会提高。但与此同时,会牺牲一定的检索范围,适合答案较为严格的场景。
  3. 丰富index的数量,可以为同一个chunk内容增加多组index
  4. 优化检索词:在实际使用过程中,用户的问题通常是模糊的或是缺失的,并不一定是完整清晰的问题。因此优化用户的问题(检索词)很大程度上也可以提高精度。
  5. 微调向量模型:由于市面上直接使用的向量模型都是通用型模型,在特定领域的检索精度并不高,因此微调向量模型可以很大程度上提高专业领域的检索效果。

FastGPT 构建知识库方案

在 FastGPT 中,整个知识库由库、集合和数据 3 部分组成。集合可以简单理解为一个文件。一个中可以包含多个集合,一个集合中可以包含多组数据。最小的搜索单位是,也就是说,知识库搜索时,是对整个进行搜索,而集合仅是为了对数据进行分类管理,与搜索效果无关。(起码目前还是)

集合 数据

导入数据方案1 - 直接分段导入

选择文件导入时,可以选择直接分段方案。直接分段会利用句子分词器对文本进行一定长度拆分,最终分割中多组的q。如果使用了直接分段方案,我们建议在应用设置引用提示词时,使用通用模板即可,无需选择问答模板

交互 结果

导入数据方案2 - QA导入

选择文件导入时可以选择QA拆分方案。仍然需要使用到句子分词器对文本进行拆分,但长度比直接分段大很多。在导入后,会先调用大模型对分段进行学习,并给出一些问题答案,最终问题和答案会一起被存储到q中。注意,新版的 FastGPT 为了提高搜索的范围,不再将问题和答案分别存储到 qa 中。

交互 结果

导入数据方案3 - 手动录入

在 FastGPT 中,你可以在任何一个集合中点击右上角的插入手动录入知识点,或者使用标注功能手动录入。被搜索的内容为q,补充内容(可选)为a

导入数据方案4 - CSV录入

有些数据较为独特,可能需要单独的进行预处理分割后再导入 FastGPT此时可以选择 csv 导入,可批量的将处理好的数据导入。

导入数据方案5 - API导入

参考FastGPT OpenAPI使用

QA的组合与引用提示词构建

参考引用模板与引用提示词示例