ChatGPT/FastGPT
1
0
Fork 0
mirror of https://github.com/labring/FastGPT.git synced 2025-07-24 13:53:50 +00:00
Code Issues Packages Projects Releases Wiki Activity

4.8.13 feature (#3118)

Browse Source 
* chore(ui): login page & workflow page (#3046)

* login page & number input & multirow select & llm select

* workflow

* adjust nodes

* New file upload (#3058)

* feat: toolNode aiNode readFileNode adapt new version

* update docker-compose

* update tip

* feat: adapt new file version

* perf: file input

* fix: ts

* feat: add chat history time label (#3024)

* feat:add chat and logs time

* feat: add chat history time label

* code perf

* code perf

---------

Co-authored-by: 勤劳上班的卑微小张 <jiazhan.zhang@ggimage.com>

* add chatType (#3060)

* pref: slow query of full text search (#3044)

* Adapt findLast api;perf: markdown zh format. (#3066)

* perf: context code

* fix: adapt findLast api

* perf: commercial plugin run error

* perf: markdown zh format

* perf: dockerfile proxy (#3067)

* fix ui (#3065)

* fix ui

* fix

* feat: support array reference multi-select (#3041)

* feat: support array reference multi-select

* fix build

* fix

* fix loop multi-select

* adjust condition

* fix get value

* array and non-array conversion

* fix plugin input

* merge func

* feat: iframe code block；perf: workflow selector type (#3076)

* feat: iframe code block

* perf: workflow selector type

* node pluginoutput check (#3074)

* feat: View will move when workflow check error;fix: ui refresh error when continuous file upload (#3077)

* fix: plugin output check

* fix: ui refresh error when continuous file upload

* feat: View will move when workflow check error

* add dispatch try catch (#3075)

* perf: workflow context split (#3083)

* perf: workflow context split

* perf: context

* 4.8.13 test (#3085)

* perf: workflow node ui

* chat iframe url

* feat: support sub route config (#3071)

* feat: support sub route config

* dockerfile

* fix upload

* delete unused code

* 4.8.13 test (#3087)

* fix: image expired

* fix: datacard navbar ui

* perf: build action

* fix: workflow file upload refresh (#3088)

* fix: http tool response (#3097)

* loop node dynamic height (#3092)

* loop node dynamic height

* fix

* fix

* feat: support push chat log (#3093)

* feat: custom uid/metadata

* to: custom info

* fix: chat push latest

* feat: add chat log envs

* refactor: move timer to pushChatLog

* fix: using precise log

---------

Co-authored-by: Finley Ge <m13203533462@163.com>

* 4.8.13 test (#3098)

* perf: loop node refresh

* rename context

* comment

* fix: ts

* perf: push chat log

* array reference check & node ui (#3100)

* feat: loop start add index (#3101)

* feat: loop start add index

* update doc

* 4.8.13 test (#3102)

* fix: loop index;edge parent check

* perf: reference invalid check

* fix: ts

* fix: plugin select files and ai response check (#3104)

* fix: plugin select files and ai response check

* perf: text editor selector;tool call tip;remove invalid image url;

* perf: select file

* perf: drop files

* feat: source id prefix env (#3103)

* 4.8.13 test (#3106)

* perf: select file

* perf: drop files

* perf: env template

* 4.8.13 test (#3107)

* perf: select file

* perf: drop files

* fix: imple mode adapt files

* perf: push chat log (#3109)

* fix: share page load title error (#3111)

* 4.8.13 perf (#3112)

* fix: share page load title error

* update file input doc

* perf: auto add file urls

* perf: auto ser loop node offset height

* 4.8.13 test (#3117)

* perf: plugin

* updat eaction

* feat: add more share config (#3120)

* feat: add more share config

* add i18n en

* fix: missing subroute (#3121)

* perf: outlink config (#3128)

* update action

* perf: outlink config

* fix: ts (#3129)

* 更新 docSite 文档内容 (#3131)

* fix: null pointer (#3130)

* fix: null pointer

* perf: not input text

* update doc url

* perf: outlink default value (#3134)

* update doc (#3136)

* 4.8.13 test (#3137)

* update doc

* perf: completions chat api

* Restore docSite content based on upstream/4.8.13-dev (#3138)

* Restore docSite content based on upstream/4.8.13-dev

* 4813.md缺少更正

* update doc (#3141)

---------

Co-authored-by: heheer <heheer@sealos.io>
Co-authored-by: papapatrick <109422393+Patrickill@users.noreply.github.com>
Co-authored-by: 勤劳上班的卑微小张 <jiazhan.zhang@ggimage.com>
Co-authored-by: Finley Ge <32237950+FinleyGe@users.noreply.github.com>
Co-authored-by: a.e. <49438478+I-Info@users.noreply.github.com>
Co-authored-by: Finley Ge <m13203533462@163.com>
Co-authored-by: Jiangween <145003935+Jiangween@users.noreply.github.com>
This commit is contained in:
Archer
2024-11-13 11:29:53 +08:00
committed by GitHub
parent e1f5483432
commit e9d52ada73
449 changed files with 7626 additions and 4180 deletions
Download Patch File Download Diff File Expand all files Collapse all files

9
docSite/content/zh-cn/docs/guide/_index.md Normal file
View File

@@ -0,0 +1,9 @@
---
weight: 100
title: '功能介绍'
description: 'FastGPT 的功能和使用指南'
icon: 'import_contacts'
draft: false
images: []
---
<!-- 100 ~ 500 -->

9
docSite/content/zh-cn/docs/guide/course/_index.md Normal file
View File

@@ -0,0 +1,9 @@
---
weight: 100
title: '基础教程'
description: 'FastGPT 基础教程'
icon: 'import_contacts'
draft: false
images: []
---
<!-- 100 ~ 200 -->

152
docSite/content/zh-cn/docs/guide/course/ai_settings.md Normal file
View File

@@ -0,0 +1,152 @@
---
title: "AI 相关参数配置说明"
description: "FastGPT AI 相关参数配置说明"
icon: "sign_language"
draft: false
toc: true
weight: 104
---
在 FastGPT 的 AI 对话模块中，有一个 AI 高级配置，里面包含了 AI 模型的参数配置，本文详细介绍这些配置的含义。
| | | |
| --- | --- | --- |
| ![](/imgs/aichat0.png) | ![](/imgs/aichat02.png) | ![](/imgs/aichat2.png) |
## 返回AI内容（高级编排特有）
这是一个开关，打开的时候，当 AI 对话模块运行时，会将其输出的内容返回到浏览器（API响应）；如果关闭，AI 输出的内容不会返回到浏览器，但是生成的内容仍可以通过【AI回复】进行输出。你可以将【AI回复】连接到其他模块中。
### 最大上下文
代表模型最多容纳的文字数量。
### 函数调用
支持函数调用的模型，在使用工具时更加准确。
### 温度
越低回答越严谨，少废话（实测下来，感觉差别不大）
### 回复上限
最大回复 token 数量。注意，是回复的Tokens！不是上下文 tokens。
### 系统提示词
被放置在上下文数组的最前面，role 为 system，用于引导模型。
## 引用模板 & 引用提示词
这两个参数与知识库问答场景相关，可以控制知识库相关的提示词。
### AI 对话消息组成
想使用明白这两个变量，首先要了解传递传递给 AI 模型的消息格式。它是一个数组，FastGPT 中这个数组的组成形式为：
```json
[
内置提示词（config.json 配置，一般为空）
系统提示词 （用户输入的提示词）
历史记录
问题（由引用提示词、引用模板和用户问题组成）
]
```
{{% alert icon="🍅" context="success" %}}
Tips: 可以通过点击上下文按键查看完整的上下文组成，便于调试。
{{% /alert %}}
### 引用模板和提示词设计
简易模式已移除该功能，仅在工作流中可配置，可点击工作流中`AI对话节点`内，知识库引用旁边的`setting icon`进行配置。随着模型的增强，这部分功能将逐步弱化。
引用模板和引用提示词通常是成对出现，引用提示词依赖引用模板。
FastGPT 知识库采用 QA 对(不一定都是问答格式，仅代表两个变量)的格式存储，在转义成字符串时候会根据**引用模板**来进行格式化。知识库包含多个可用变量： q, a, sourceId（数据的ID）, index(第n个数据), source(数据的集合名、文件名)，score(距离得分，0-1) 可以通过 {{q}} {{a}} {{sourceId}} {{index}} {{source}} {{score}} 按需引入。下面一个模板例子：
可以通过 [知识库结构讲解](/docs/guide/knowledge_base/dataset_engine/) 了解详细的知识库的结构。
#### 引用模板
```
{instruction:"{{q}}",output:"{{a}}",source:"{{source}}"}
```
搜索到的知识库，会自动将 q,a,source 替换成对应的内容。每条搜索到的内容，会通过 `\n` 隔开。例如：
```
{instruction:"电影《铃芽之旅》的导演是谁？",output:"电影《铃芽之旅》的导演是新海诚。",source:"手动输入"}
{instruction:"本作的主人公是谁？",output:"本作的主人公是名叫铃芽的少女。",source:""}
{instruction:"电影《铃芽之旅》男主角是谁？",output:"电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。",source:""}
{instruction:"电影《铃芽之旅》的编剧是谁？22",output:"新海诚是本片的编剧。",source:"手动输入"}
```
#### 引用提示词
引用模板需要和引用提示词一起使用，提示词中可以写引用模板的格式说明以及对话的要求等。可以使用 {{quote}} 来使用 **引用模板**，使用 {{question}} 来引入问题。例如：
```
你的背景知识:
"""
{{quote}}
"""
对话要求：
1. 背景知识是最新的，其中 instruction 是相关介绍，output 是预期回答或补充。
2. 使用背景知识回答问题。
3. 背景知识无法回答问题时，你可以礼貌的的回答用户问题。
我的问题是:"{{question}}"
```
转义后则为：
```
你的背景知识:
"""
{instruction:"电影《铃芽之旅》的导演是谁？",output:"电影《铃芽之旅》的导演是新海诚。",source:"手动输入"}
{instruction:"本作的主人公是谁？",output:"本作的主人公是名叫铃芽的少女。",source:""}
{instruction:"电影《铃芽之旅》男主角是谁？",output:"电影《铃芽之旅》男主角是宗像草太，由松村北斗配音}
"""
对话要求：
1. 背景知识是最新的，其中 instruction 是相关介绍，output 是预期回答或补充。
2. 使用背景知识回答问题。
3. 背景知识无法回答问题时，你可以礼貌的的回答用户问题。
我的问题是:"{{question}}"
```
#### 总结
引用模板规定了搜索出来的内容如何组成一句话，其由 q,a,index,source 多个变量组成。
引用提示词由`引用模板`和`提示词`组成，提示词通常是对引用模板的一个描述，加上对模型的要求。
### 引用模板和提示词设计 示例
#### 通用模板与问答模板对比
我们通过一组`你是谁`的手动数据，对通用模板与问答模板的效果进行对比。此处特意打了个搞笑的答案，通用模板下 GPT35 就变得不那么听话了，而问答模板下 GPT35 依然能够回答正确。这是由于结构化的提示词，在大语言模型中具有更强的引导作用。
{{% alert icon="🍅" context="success" %}}
Tips: 建议根据不同的场景，每种知识库仅选择1类数据类型，这样有利于充分发挥提示词的作用。
{{% /alert %}}
| 通用模板配置及效果 | 问答模板配置及效果 |
| --- | --- |
| ![](/imgs/datasetprompt1.jpg) | ![](/imgs/datasetprompt2.jpg) |
| ![](/imgs/datasetprompt3.jpg) | ![](/imgs/datasetprompt5.jpg) |
| ![](/imgs/datasetprompt4.jpg) | ![](/imgs/datasetprompt6.jpg) |
#### 严格模板
使用非严格模板，我们随便询问一个不在知识库中的内容，模型通常会根据其自身知识进行回答。
| 非严格模板效果 | 选择严格模板 | 严格模板效果 |
| --- | --- | --- |
| ![](/imgs/datasetprompt7.webp) | ![](/imgs/datasetprompt8.jpg) |![](/imgs/datasetprompt9.jpg) |
#### 提示词设计思路
1. 使用序号进行不同要求描述。
2. 使用首先、然后、最后等词语进行描述。
3. 列举不同场景的要求时，尽量完整，不要遗漏。例如：背景知识完全可以回答、背景知识可以回答一部分、背景知识与问题无关，3种场景都说明清楚。
4. 巧用结构化提示，例如在问答模板中，利用了`instruction`和`output`，清楚的告诉模型，`output`是一个预期的答案。
5. 标点符号正确且完整。

54
docSite/content/zh-cn/docs/guide/course/chat_input_guide.md Normal file
View File

@@ -0,0 +1,54 @@
---
title: "对话问题引导"
description: "FastGPT 对话问题引导"
icon: "code"
draft: false
toc: true
weight: 106
---
![](/imgs/questionGuide.png)
## 什么是自定义问题引导
你可以为你的应用提前预设一些问题，用户在输入时，会根据输入的内容，动态搜索这些问题作为提示，从而引导用户更快的进行提问。
你可以直接在 FastGPT 中配置词库，或者提供自定义词库接口。
## 自定义词库接口
需要保证这个接口可以被用户浏览器访问。
**请求：**
```bash
curl --location --request GET 'http://localhost:3000/api/core/chat/inputGuide/query?appId=663c75302caf8315b1c00194&searchKey=你'
```
其中 `appId` 为应用ID，`searchKey` 为搜索关键字，最多是50个字符。
**响应**
```json
{
"code": 200,
"statusText": "",
"message": "",
"data": [
"是你",
"你是谁呀",
"你好好呀",
"你好呀",
"你是谁！",
"你好"
]
}
```
data是一个数组，包含了搜索到的问题，最多只需要返回5个问题。
**参数说明：**
- appId - 应用ID
- searchKey - 搜索关键字

50
docSite/content/zh-cn/docs/guide/course/collection_tags.md Normal file
View File

@@ -0,0 +1,50 @@
---
title: "知识库集合标签"
description: "FastGPT 知识库集合标签使用说明"
icon: "developer_guide"
draft: false
toc: true
weight: 109
---
知识库集合标签是 FastGPT 商业版特有功能。它允许你对知识库中的数据集合添加标签进行分类，更高效地管理知识库数据。
而进一步可以在问答中，搜索知识库时添加集合过滤，实现更精确的搜索。
| | | |
| --------------------- | --------------------- | --------------------- |
| ![](/imgs/collection-tags-1.png) | ![](/imgs/collection-tags-2.png) | ![](/imgs/collection-tags-3.png) |
## 标签基础操作说明
在知识库详情页面，可以对标签进行管理，可执行的操作有
- 创建标签
- 修改标签名
- 删除标签
- 将一个标签赋给多个数据集合
- 给一个数据集合添加多个标签
也可以利用标签对数据集合进行筛选
## 知识库搜索-集合过滤说明
利用标签可以在知识库搜索时，通过填写「集合过滤」这一栏来实现更精确的搜索，具体的填写示例如下
```json
{
"tags": {
"$and": ["标签 1","标签 2"],
"$or": ["有 $and 标签时，and 生效，or 不生效"]
},
"createTime": {
"$gte": "YYYY-MM-DD HH:mm 格式即可，集合的创建时间大于该时间",
"$lte": "YYYY-MM-DD HH:mm 格式即可，集合的创建时间小于该时间,可和 $gte 共同使用"
}
}
```
在填写时有两个注意的点，
- 标签值可以为 `string` 类型的标签名，也可以为 `null`，而 `null` 代表着未设置标签的数据集合
- 标签过滤有 `$and` 和 `$or` 两种条件类型，在同时设置了 `$and` 和 `$or` 的情况下，只有 `$and` 会生效

113
docSite/content/zh-cn/docs/guide/course/fileInput.md Normal file
View File

@@ -0,0 +1,113 @@
---
title: '文件输入功能介绍'
description: 'FastGPT 文件输入功能介绍'
icon: 'description'
draft: false
toc: true
weight: 110
---
从 4.8.9 版本起，FastGPT 支持在`简易模式`和`工作流`中，配置用户上传文件、图片功能。下面先简单介绍下如何使用文件输入功能，最后是介绍下文件解析的工作原理。
## 简易模式中使用
简易模式打开文件上传后，会使用工具调用模式，也就是由模型自行决策，是否需要读取文件内容。
可以找到左侧文件上传的配置项，点击其右侧的`开启`/`关闭`按键，即可打开配置弹窗。
![打开文件上传](/imgs/fileinpu-1.png)
随后，你的调试对话框中，就会出现一个文件选择的 icon，可以点击文件选择 icon，选择你需要上传的文件。
![打开文件上传](/imgs/fileinpu-2.png)
**工作模式**
从 4.8.13 版本起，简易模式的文件读取将会强制解析文件并放入 system 提示词中，避免连续对话时，模型有时候不会主动调用读取文件的工具。
## 工作流中使用
工作流中，可以在系统配置中，找到`文件输入`配置项，点击其右侧的`开启`/`关闭`按键，即可打开配置弹窗。
![打开文件上传](/imgs/fileinpu-4.jpg)
在工作流中，使用文件的方式很多，最简单的就是类似下图中，直接通过工具调用接入文档解析，实现和简易模式一样的效果。
| | |
| --------------------- | --------------------- |
| ![](/imgs/image-5.png) | ![](/imgs/image-6.png) |
当然，你也可以在工作流中，对文档进行内容提取、内容分析等，然后将分析的结果传递给 HTTP 或者其他模块，从而实现文件处理的 SOP。
![文档解析](/imgs/image-7.png)
## 文档解析工作原理
不同于图片识别，LLM 模型目前没有支持直接解析文档的能力，所有的文档“理解”都是通过文档转文字后拼接 prompt 实现。这里通过几个 FAQ 来解释文档解析的工作原理，理解文档解析的原理，可以更好的在工作流中使用文档解析功能。
### 上传的文件如何存储在数据库中
FastGPT 的对话记录存储结构中，role=user 的消息，value 值会按以下结构存储：
```ts
type UserChatItemValueItemType = {
type: 'text' | 'file'
text?: {
content: string;
};
file?: {
type: 'img' | 'doc'
name?: string;
url: string;
};
};
```
也就是说，上传的图片和文档，都会以 URL 的形式存储在库中，并不会存储`解析后的文档内容`。
### 图片如何处理
文档解析节点不会处理图片，图片链接会被过滤，图片识别请直接使用支持图片识别的 LLM 模型。
### 文档解析节点如何工作
文档解析依赖文档解析节点，这个节点会接收一个`array<string>`类型的输入，对应的是文件输入的 URL；输出的是一个`string`，对应的是文档解析后的内容。
* 在文档解析节点中，只会解析`文档`类型的 URL，它是通过文件 URL 解析出来的`文名件后缀`去判断的。如果你同时选择了文档和图片，图片会被忽略。
* **文档解析节点，只会解析本轮工作流接收的文件，不会解析历史记录的文件。**
* 多个文档内容如何拼接的
按下列的模板，对多个文件进行拼接，即文件名+文件内容的形式组成一个字符串，不同文档之间通过分隔符：`\n******\n` 进行分割。
```
File: ${filename}
<Content>
${content}
</Content>
```
### AI节点中如何使用文档解析
在 AI 节点（AI对话/工具调用）中，新增了一个文档链接的输入，可以直接引用文档的地址，从而实现文档内容的引用。
它接收一个`Array<string>`类型的输入，最终这些 url 会被解析，并进行提示词拼接，放置在 role=system 的消息中。提示词模板如下：
```
将 <FilesContent></FilesContent> 中的内容作为本次对话的参考:
<FilesContent>
{{quote}}
</FilesContent>
```
# 4.8.13版本起，关于文件上传的更新
由于与 4.8.9 版本有些差异，尽管我们做了向下兼容，避免工作流立即不可用。但是请尽快的按新版本规则进行调整工作流，后续将会去除兼容性代码。
1. 简易模式中，将会强制进行文件解析，不再由模型决策是否解析，保证每次都能参考文档。
2. 文档解析：不再解析历史记录中的文件。
3. 工具调用：支持直接选择文档引用，不需要再挂载文档解析工具。会自动解析历史记录中的文件。
4. AI 对话：支持直接选择文档引用，不需要进过文档解析节点。会自动解析历史记录中的文件。
5. 插件单独运行：不再支持全局文件；插件输入支持配置文件类型，可以取代全局文件上传。
6. **工作流调用插件：不再自动传递工作流上传的文件到插件，需要手动给插件输入指定变量。**
7. **工作流调用工作流：不再自动传递工作流上传的文件到子工作流，可以手动选择需要传递的文件链接。**

54
docSite/content/zh-cn/docs/guide/course/quick-start.md Normal file
View File

@@ -0,0 +1,54 @@
---
title: '快速上手'
description: '快速体验 FastGPT 基础功能'
icon: 'rocket_launch'
draft: false
toc: true
weight: 102
---
更多使用技巧，[查看视屏教程](https://www.bilibili.com/video/BV1sH4y1T7s9)
## 知识库
开始前，请准备一份测试电子文档，WORD，PDF，TXT，excel，markdown 都可以，比如公司休假制度，不涉密的销售说辞，产品知识等等。
这里使用 FastGPT 中文 README 文件为例。
首先我们需要创建一个知识库。
![](/imgs/create-rep.png)
知识库创建完之后我们需要上传一点内容。
上传内容这里有四种模式：
- 手动输入：手动输入问答对，是最精准的数据
- QA 拆分：选择文本文件，让AI自动生成问答对
- 直接分段：选择文本文件，直接将其按分段进行处理
- CSV 导入：批量导入问答对
这里，我们选择 QA 拆分，让 AI 自动生成问答，若问答质量不高，可以后期手动修改。
![](/imgs/upload-data.png)
点击上传后我们需要等待数据处理完成，等到我们上传的文件状态为可用。
![](/imgs/upload-data2.png)
## 应用
点击「应用」按钮来新建一个应用，这里有四个模板，我们选择「知识库 + 对话引导」。
![](/imgs/create-app.png)
应用创建后来再应用详情页找到「知识库」模块，把我们刚刚创建的知识库添加进去。
![](/imgs/create-app2.png)
添加完知识库后记得点击「保存并预览」，这样我们的应用就和知识库关联起来了。
![](/imgs/create-app3.png)
然后我们就可以愉快的开始聊天啦。
![](/imgs/create-app4.png)

331
docSite/content/zh-cn/docs/guide/knowledge_base/RAG.md Normal file
View File

@@ -0,0 +1,331 @@
---
title: '知识库基础原理介绍'
description: '本节详细介绍RAG模型的核心机制、应用场景及其在生成任务中的优势与局限性。'
icon: 'language'
draft: false
toc: true
weight: 402
---
[RAG文档](https://huggingface.co/docs/transformers/model_doc/rag)
# 1. 引言
随着自然语言处理（NLP）技术的迅猛发展，生成式语言模型（如GPT、BART等）在多种文本生成任务中表现卓越，尤其在语言生成和上下文理解方面。然而，纯生成模型在处理事实类任务时存在一些固有的局限性。例如，由于这些模型依赖于固定的预训练数据，它们在回答需要最新或实时信息的问题时，可能会出现“编造”信息的现象，导致生成结果不准确或缺乏事实依据。此外，生成模型在面对长尾问题和复杂推理任务时，常因缺乏特定领域的外部知识支持而表现不佳，难以提供足够的深度和准确性。
与此同时，检索模型（Retriever）能够通过在海量文档中快速找到相关信息，解决事实查询的问题。然而，传统检索模型（如BM25）在面对模糊查询或跨域问题时，往往只能返回孤立的结果，无法生成连贯的自然语言回答。由于缺乏上下文推理能力，检索模型生成的答案通常不够连贯和完整。
为了解决这两类模型的不足，检索增强生成模型（Retrieval-Augmented Generation，RAG）应运而生。RAG通过结合生成模型和检索模型的优势，实时从外部知识库中获取相关信息，并将其融入生成任务中，确保生成的文本既具备上下文连贯性，又包含准确的知识。这种混合架构在智能问答、信息检索与推理、以及领域特定的内容生成等场景中表现尤为出色。
## 1.1 RAG的定义
RAG是一种将信息检索与生成模型相结合的混合架构。首先，检索器从外部知识库或文档集中获取与用户查询相关的内容片段；然后，生成器基于这些检索到的内容生成自然语言输出，确保生成的内容既信息丰富，又具备高度的相关性和准确性。
# 2. RAG模型的核心机制
RAG 模型由两个主要模块构成：检索器（Retriever）与生成器（Generator）。这两个模块相互配合，确保生成的文本既包含外部的相关知识，又具备自然流畅的语言表达。
## 2.1 检索器（Retriever）
检索器的主要任务是从一个外部知识库或文档集中获取与输入查询最相关的内容。在RAG中，常用的技术包括：
- 向量检索：如BERT向量等，它通过将文档和查询转化为向量空间中的表示，并使用相似度计算来进行匹配。向量检索的优势在于能够更好地捕捉语义相似性，而不仅仅是依赖于词汇匹配。
- 传统检索算法：如BM25，主要基于词频和逆文档频率（TF-IDF）的加权搜索模型来对文档进行排序和检索。BM25适用于处理较为简单的匹配任务，尤其是当查询和文档中的关键词有直接匹配时。
RAG中检索器的作用是为生成器提供一个上下文背景，使生成器能够基于这些检索到的文档片段生成更为相关的答案。
## 2.2 生成器（Generator）
生成器负责生成最终的自然语言输出。在RAG系统中，常用的生成器包括：
- BART：BART是一种序列到序列的生成模型，专注于文本生成任务，可以通过不同层次的噪声处理来提升生成的质量 。
- GPT系列：GPT是一个典型的预训练语言模型，擅长生成流畅自然的文本。它通过大规模数据训练，能够生成相对准确的回答，尤其在任务-生成任务中表现尤为突出 。
生成器在接收来自检索器的文档片段后，会利用这些片段作为上下文，并结合输入的查询，生成相关且自然的文本回答。这确保了模型的生成结果不仅仅基于已有的知识，还能够结合外部最新的信息。
## 2.3 RAG的工作流程
RAG模型的工作流程可以总结为以下几个步骤：
1. 输入查询：用户输入问题，系统将其转化为向量表示。
2. 文档检索：检索器从知识库中提取与查询最相关的文档片段，通常使用向量检索技术或BM25等传统技术进行。
3. 生成答案：生成器接收检索器提供的片段，并基于这些片段生成自然语言答案。生成器不仅基于原始的用户查询，还会利用检索到的片段提供更加丰富、上下文相关的答案。
4. 输出结果：生成的答案反馈给用户，这个过程确保了用户能够获得基于最新和相关信息的准确回答。
# 3. RAG模型的工作原理
## 3.1 检索阶段
在RAG模型中，用户的查询首先被转化为向量表示，然后在知识库中执行向量检索。通常，检索器采用诸如BERT等预训练模型生成查询和文档片段的向量表示，并通过相似度计算（如余弦相似度）匹配最相关的文档片段。RAG的检索器不仅仅依赖简单的关键词匹配，而是采用语义级别的向量表示，从而在面对复杂问题或模糊查询时，能够更加准确地找到相关知识。这一步骤对于最终生成的回答至关重要，因为检索的效率和质量直接决定了生成器可利用的上下文信息 。
## 3.2 生成阶段
生成阶段是RAG模型的核心部分，生成器负责基于检索到的内容生成连贯且自然的文本回答。RAG中的生成器，如BART或GPT等模型，结合用户输入的查询和检索到的文档片段，生成更加精准且丰富的答案。与传统生成模型相比，RAG的生成器不仅能够生成语言流畅的回答，还可以根据外部知识库中的实际信息提供更具事实依据的内容，从而提高了生成的准确性 。
## 3.3 多轮交互与反馈机制
RAG模型在对话系统中能够有效支持多轮交互。每一轮的查询和生成结果会作为下一轮的输入，系统通过分析和学习用户的反馈，逐步优化后续查询的上下文。通过这种循环反馈机制，RAG能够更好地调整其检索和生成策略，使得在多轮对话中生成的答案越来越符合用户的期望。此外，多轮交互还增强了RAG在复杂对话场景中的适应性，使其能够处理跨多轮的知识整合和复杂推理 。
# 4. RAG的优势与局限
## 4.1 优势
- 信息完整性：RAG 模型结合了检索与生成技术，使得生成的文本不仅语言自然流畅，还能够准确利用外部知识库提供的实时信息。这种方法能够显著提升生成任务的准确性，特别是在知识密集型场景下，如医疗问答或法律意见生成。通过从知识库中检索相关文档，RAG 模型避免了生成模型“编造”信息的风险，确保输出更具真实性 。
- 知识推理能力：RAG 能够利用大规模的外部知识库进行高效检索，并结合这些真实数据进行推理，生成基于事实的答案。相比传统生成模型，RAG 能处理更为复杂的任务，特别是涉及跨领域或跨文档的推理任务。例如，法律领域的复杂判例推理或金融领域的分析报告生成都可以通过RAG的推理能力得到优化 。
- 领域适应性强：RAG 具有良好的跨领域适应性，能够根据不同领域的知识库进行特定领域内的高效检索和生成。例如，在医疗、法律、金融等需要实时更新和高度准确性的领域，RAG 模型的表现优于仅依赖预训练的生成模型 。
## 4.2 局限
RAG（检索增强生成）模型通过结合检索器和生成器，实现了在多种任务中知识密集型内容生成的突破性进展。然而，尽管其具有较强的应用潜力和跨领域适应能力，但在实际应用中仍然面临着一些关键局限，限制了其在大规模系统中的部署和优化。以下是RAG模型的几个主要局限性：
#### 4.2.1 检索器的依赖性与质量问题
RAG模型的性能很大程度上取决于检索器返回的文档质量。由于生成器主要依赖检索器提供的上下文信息，如果检索到的文档片段不相关、不准确，生成的文本可能出现偏差，甚至产生误导性的结果。尤其在多模糊查询或跨领域检索的情况下，检索器可能无法找到合适的片段，这将直接影响生成内容的连贯性和准确性。
- 挑战：当知识库庞大且内容多样时，如何提高检索器在复杂问题下的精确度是一大挑战。当前的方法如BM25等在特定任务上有局限，尤其是在面对语义模糊的查询时，传统的关键词匹配方式可能无法提供语义上相关的内容。
- 解决途径：引入混合检索技术，如结合稀疏检索（BM25）与密集检索（如向量检索）。例如，Faiss的底层实现允许通过BERT等模型生成密集向量表示，显著提升语义级别的匹配效果。通过这种方式，检索器可以捕捉深层次的语义相似性，减少无关文档对生成器的负面影响。
#### 4.2.2 生成器的计算复杂度与性能瓶颈
RAG模型将检索和生成模块结合，尽管生成结果更加准确，但也大大增加了模型的计算复杂度。尤其在处理大规模数据集或长文本时，生成器需要处理来自多个文档片段的信息，导致生成时间明显增加，推理速度下降。对于实时问答系统或其他需要快速响应的应用场景，这种高计算复杂度是一个主要瓶颈。
- 挑战：当知识库规模扩大时，检索过程中的计算开销以及生成器在多片段上的整合能力都会显著影响系统的效率。同时，生成器也面临着资源消耗的问题，尤其是在多轮对话或复杂生成任务中，GPU和内存的消耗会成倍增加。
- 解决途径：使用模型压缩技术和知识蒸馏来减少生成器的复杂度和推理时间。此外，分布式计算与模型并行化技术的引入，如[DeepSpeed](https://www.deepspeed.ai/)和模型压缩工具，可以有效应对生成任务的高计算复杂度，提升大规模应用场景中的推理效率。
#### 4.2.3 知识库的更新与维护
RAG模型通常依赖于一个预先建立的外部知识库，该知识库可能包含文档、论文、法律条款等各类信息。然而，知识库内容的时效性和准确性直接影响到RAG生成结果的可信度。随着时间推移，知识库中的内容可能过时，导致生成的回答不能反映最新的信息。这对于需要实时信息的场景（如医疗、金融）尤其明显。
- 挑战：知识库需要频繁更新，但手动更新知识库既耗时又容易出错。如何在不影响系统性能的情况下实现知识库的持续自动更新是当前的一大挑战。
- 解决途径：利用自动化爬虫和信息提取系统，可以实现对知识库的自动化更新，例如，Scrapy等爬虫框架可以自动抓取网页数据并更新知识库。结合[动态索引技术](https://arxiv.org/pdf/2102.03315)，可以帮助检索器实时更新索引，确保知识库反映最新信息。同时，结合增量学习技术，生成器可以逐步吸收新增的信息，避免生成过时答案。此外，动态索引技术也可以帮助检索器实时更新索引，确保知识库检索到的文档反映最新的内容。
#### 4.2.4 生成内容的可控性与透明度
RAG模型结合了检索与生成模块，在生成内容的可控性和透明度上存在一定问题。特别是在复杂任务或多义性较强的用户输入情况下，生成器可能会基于不准确的文档片段生成错误的推理，导致生成的答案偏离实际问题。此外，由于RAG模型的“黑箱”特性，用户难以理解生成器如何利用检索到的文档信息，这在高敏感领域如法律或医疗中尤为突出，可能导致用户对生成内容产生不信任感。
- 挑战：模型透明度不足使得用户难以验证生成答案的来源和可信度。对于需要高可解释性的任务（如医疗问诊、法律咨询等），无法追溯生成答案的知识来源会导致用户不信任模型的决策。
- 解决途径：为提高透明度，可以引入可解释性AI（XAI）技术，如LIME或SHAP（[链接](https://github.com/marcotcr/lime)），为每个生成答案提供详细的溯源信息，展示所引用的知识片段。这种方法能够帮助用户理解模型的推理过程，从而增强对模型输出的信任。此外，针对生成内容的控制，可以通过加入规则约束或用户反馈机制，逐步优化生成器的输出，确保生成内容更加可信。
# 5. RAG整体改进方向
RAG模型的整体性能依赖于知识库的准确性和检索的效率，因此在数据采集、内容分块、精准检索和回答生成等环节进行优化，是提升模型效果的关键。通过加强数据来源、改进内容管理、优化检索策略及提升回答生成的准确性，RAG模型能够更加适应复杂且动态的实际应用需求。
## 5.1 数据采集与知识库构建
RAG模型的核心依赖在于知识库的数据质量和广度，知识库在某种程度上充当着“外部记忆”的角色。因此，高质量的知识库不仅应包含广泛领域的内容，更要确保数据来源的权威性、可靠性以及时效性。知识库的数据源应涵盖多种可信的渠道，例如科学文献数据库（如PubMed、IEEE Xplore）、权威新闻媒体、行业标准和报告等，这样才能提供足够的背景信息支持RAG在不同任务中的应用。此外，为了确保RAG模型能够提供最新的回答，知识库需要具备自动化更新的能力，以避免数据内容老旧，导致回答失准或缺乏现实参考。
- 挑战：
- 尽管数据采集是构建知识库的基础，但在实际操作中仍存在以下几方面的不足：
- 数据采集来源单一或覆盖不全
1. RAG模型依赖多领域数据的支持，然而某些知识库过度依赖单一或有限的数据源，通常集中在某些领域，导致在多任务需求下覆盖不足。例如，依赖医学领域数据而缺乏法律和金融数据会使RAG模型在跨领域问答中表现不佳。这种局限性削弱了RAG模型在处理不同主题或多样化查询时的准确性，使得系统在应对复杂或跨领域任务时能力欠缺。
- 数据质量参差不齐
1. 数据源的质量差异直接影响知识库的可靠性。一些数据可能来源于非权威或低质量渠道，存在偏见、片面或不准确的内容。这些数据若未经筛选录入知识库，会导致RAG模型生成偏差或不准确的回答。例如，在医学领域中，如果引入未经验证的健康信息，可能导致模型给出误导性回答，产生负面影响。数据质量不一致的知识库会大大降低模型输出的可信度和适用性。
- 缺乏定期更新机制
1. 许多知识库缺乏自动化和频繁的更新机制，特别是在信息变动频繁的领域，如法律、金融和科技。若知识库长期未更新，则RAG模型无法提供最新信息，生成的回答可能过时或不具备实时参考价值。对于用户而言，特别是在需要实时信息的场景下，滞后的知识库会显著影响RAG模型的可信度和用户体验。
- 数据处理耗时且易出错
1. 数据的采集、清洗、分类和结构化处理是一项繁琐而复杂的任务，尤其是当数据量巨大且涉及多种格式时。通常，大量数据需要人工参与清洗和结构化，而自动化处理流程也存在缺陷，可能会产生错误或遗漏关键信息。低效和易出错的数据处理流程会导致知识库内容不准确、不完整，进而影响RAG模型生成的答案的准确性和连贯性。
- 数据敏感性和隐私问题
1. 一些特定领域的数据（如医疗、法律、金融）包含敏感信息，未经适当的隐私保护直接引入知识库可能带来隐私泄露的风险。此外，某些敏感数据需要严格的授权和安全存储，以确保在知识库使用中避免违规或隐私泄漏。若未能妥善处理数据隐私问题，不仅会影响系统的合规性，还可能对用户造成严重后果。
- 改进：
- 针对以上不足，可以从以下几个方面进行改进，以提高数据采集和知识库构建的有效性：
- 扩大数据源覆盖范围，增加数据的多样性
1. 具体实施：将知识库的数据源扩展至多个重要领域，确保包含医疗、法律、金融等关键领域的专业数据库，如PubMed、LexisNexis和金融数据库。使用具有开放许可的开源数据库和经过认证的数据，确保来源多样化且权威性强。
2. 目的与效果：通过跨领域数据覆盖，知识库的广度和深度得以增强，确保RAG模型能够在多任务场景下提供可靠回答。借助多领域合作机构的数据支持，在应对多样化需求时将更具优势。
- 构建数据质量审查与过滤机制
1. 具体实施：采用自动化数据质量检测算法，如文本相似度检查、情感偏差检测等工具，结合人工审查过滤不符合标准的数据。为数据打分并构建“数据可信度评分”，基于来源可信度、内容完整性等指标筛选数据。
2. 目的与效果：减少低质量、偏见数据的干扰，确保知识库内容的可靠性。此方法保障了RAG模型输出的权威性，特别在回答复杂或专业问题时，用户能够获得更加精准且中立的答案。
- 实现知识库的自动化更新
1. 具体实施：引入自动化数据更新系统，如网络爬虫，定期爬取可信站点、行业数据库的最新数据，并利用变化检测算法筛选出与已有知识库重复或已失效的数据。更新机制可以结合智能筛选算法，仅采纳与用户查询高相关性或时效性强的数据。
2. 目的与效果：知识库保持及时更新，确保模型在快速变化的领域（如金融、政策、科技）中提供最新信息。用户体验将因此大幅提升，特别是在需要动态或最新信息的领域，输出的内容将更具时效性。
- 采用高效的数据清洗与分类流程
1. 具体实施：使用自然语言处理技术，如BERT等模型进行数据分类、实体识别和文本去噪，结合去重算法清理重复内容。采用自动化的数据标注和分类算法，将不同数据类型分领域存储。
2. 目的与效果：数据清洗和分领域管理可以大幅提高数据处理的准确性，减少低质量数据的干扰。此改进确保RAG模型的回答生成更流畅、上下文更连贯，提升用户对生成内容的理解和信赖。
- 强化数据安全与隐私保护措施
1. 具体实施：针对医疗、法律等敏感数据，采用去标识化处理技术（如数据脱敏、匿名化等），并结合差分隐私保护。建立数据权限管理和加密存储机制，对敏感信息进行严格管控。
2. 目的与效果：在保护用户隐私的前提下，确保使用的数据合规、安全，适用于涉及个人或敏感数据的应用场景。此措施进一步保证了系统的法律合规性，并有效防止隐私泄露风险。
- 优化数据格式与结构的标准化
1. 具体实施：建立统一的数据格式与标准编码格式，例如使用JSON、XML或知识图谱形式组织结构化数据，以便于检索系统在查询时高效利用。同时，使用知识图谱等结构化工具，将复杂数据间的关系进行系统化存储。
2. 目的与效果：提高数据检索效率，确保模型在生成回答时能够高效使用数据的关键信息。标准化的数据结构支持高效的跨领域检索，并提高了RAG模型的内容准确性和知识关系的透明度。
- 用户反馈机制
1. 具体实施：通过用户反馈系统，记录用户对回答的满意度、反馈意见及改进建议。使用机器学习算法从反馈中识别知识库中的盲区与信息误差，反馈至数据管理流程中进行更新和优化。
2. 目的与效果：利用用户反馈作为数据质量的调整依据，帮助知识库持续优化内容。此方法不仅提升了RAG模型的实际效用，还使知识库更贴合用户需求，确保输出内容始终符合用户期望。
## 5.2 数据分块与内容管理
RAG模型的数据分块与内容管理是优化检索与生成流程的关键。合理的分块策略能够帮助模型高效定位目标信息，并在回答生成时提供清晰的上下文支持。通常情况下，将数据按段落、章节或主题进行分块，不仅有助于检索效率的提升，还能避免冗余数据对生成内容造成干扰。尤其在复杂、长文本中，适当的分块策略可保证模型生成的答案具备连贯性、精确性，避免出现内容跳跃或上下文断裂的问题。
- 挑战：
- 在实际操作中，数据分块与内容管理环节存在以下问题：
- 分块不合理导致的信息断裂
1. 部分文本过度切割或分块策略不合理，可能导致信息链条被打断，使得模型在回答生成时缺乏必要的上下文支持。这会使生成内容显得零散，不具备连贯性，影响用户对答案的理解。例如，将法律文本或技术文档随意切割成小段落会导致重要的上下文关系丢失，降低模型的回答质量。
- 冗余数据导致生成内容重复或信息过载
1. 数据集中往往包含重复信息，若不去重或优化整合，冗余数据可能导致生成内容的重复或信息过载。这不仅影响用户体验，还会浪费计算资源。例如，在新闻数据或社交媒体内容中，热点事件的描述可能重复出现，模型在生成回答时可能反复引用相同信息。
- 分块粒度选择不当影响检索精度
1. 如果分块粒度过细，模型可能因缺乏足够的上下文而生成不准确的回答；若分块过大，检索时将难以定位具体信息，导致回答内容冗长且含有无关信息。选择适当的分块粒度对生成答案的准确性和相关性至关重要，特别是在问答任务中需要精确定位答案的情况下，粗放的分块策略会明显影响用户的阅读体验和回答的可读性。
- 难以实现基于主题或内容逻辑的分块
1. 某些复杂文本难以直接按主题或逻辑结构进行分块，尤其是内容密集或领域专业性较强的数据。基于关键字或简单的规则切割往往难以识别不同主题和信息层次，导致模型在回答生成时信息杂乱。对内容逻辑或主题的错误判断，尤其是在医学、金融等场景下，会大大影响生成答案的准确度和专业性。
- 改进：
- 为提高数据分块和内容管理的有效性，可以从以下几方面进行优化：
- 引入NLP技术进行自动化分块和上下文分析
1. 具体实施：借助自然语言处理（NLP）技术，通过句法分析、语义分割等方式对文本进行逻辑切割，以确保分块的合理性。可以基于BERT等预训练模型实现主题识别和上下文分析，确保每个片段均具备完整的信息链，避免信息断裂。
2. 目的与效果：确保文本切割基于逻辑或语义关系，避免信息链条被打断，生成答案时能够更具连贯性，尤其适用于长文本和复杂结构的内容，使模型在回答时上下文更加完整、连贯。
- 去重与信息整合，优化内容简洁性
1. 具体实施：利用相似度算法（如TF-IDF、余弦相似度）识别冗余内容，并结合聚类算法自动合并重复信息。针对内容频繁重复的情况，可设置内容标记或索引，避免生成时多次引用相同片段。
2. 目的与效果：通过去重和信息整合，使数据更具简洁性，避免生成答案中出现重复信息。减少冗余信息的干扰，使用户获得简明扼要的回答，增强阅读体验，同时提升生成过程的计算效率。
- 根据任务需求动态调整分块粒度
1. 具体实施：根据模型任务的不同，设置动态分块策略。例如，在问答任务中对关键信息较短的内容可采用小粒度分块，而在长文本或背景性内容中采用较大粒度。分块策略可基于查询需求或内容复杂度自动调整。
2. 目的与效果：分块粒度的动态调整确保模型在检索和生成时既能准确定位关键内容，又能为回答提供足够的上下文支持，提升生成内容的精准性和相关性，确保用户获取的信息既准确又不冗长。
- 引入基于主题的分块方法以提升上下文完整性
1. 具体实施：使用主题模型（如LDA）或嵌入式文本聚类技术，对文本内容按主题进行自动分类与分块。基于相同主题内容的聚合分块，有助于模型识别不同内容层次，尤其适用于复杂的学术文章或多章节的长篇报告。
2. 目的与效果：基于主题的分块确保同一主题的内容保持在一个片段内，提升模型在回答生成时的上下文连贯性。适用于主题复杂、层次清晰的内容场景，提高回答的专业性和条理性，使用户更容易理解生成内容的逻辑关系。
- 实时评估分块策略与内容呈现效果的反馈机制
1. 具体实施：通过用户反馈机制和生成质量评估系统实时监测生成内容的连贯性和准确性。对用户反馈中涉及分块效果差的部分进行重新分块，通过用户使用数据优化分块策略。
2. 目的与效果：用户反馈帮助识别不合理的分块和内容呈现问题，实现分块策略的动态优化，持续提升生成内容的质量和用户满意度。
## 5.3 检索优化
在RAG模型中，检索模块决定了生成答案的相关性和准确性。有效的检索策略可确保模型获取到最适合的上下文片段，使生成的回答更加精准且贴合查询需求。常用的混合检索策略（如BM25和DPR结合）能够在关键词匹配和语义检索方面实现优势互补：BM25适合高效地处理关键字匹配任务，而DPR在理解深层语义上表现更为优异。因此，合理选用检索策略有助于在不同任务场景下达到计算资源和检索精度的平衡，以高效提供相关上下文供生成器使用。
- 挑战：
- 检索优化过程中，仍面临以下不足之处：
- 检索策略单一导致的回答偏差
1. 当仅依赖BM25或DPR等单一技术时，模型可能难以平衡关键词匹配与语义理解。BM25在处理具象关键字时表现良好，但在面对复杂、含义丰富的语义查询时效果欠佳；相反，DPR虽然具备深度语义匹配能力，但对高频关键词匹配的敏感度较弱。检索策略单一将导致模型难以适应复杂的用户查询，回答中出现片面性或不够精准的情况。
- 检索效率与资源消耗的矛盾
1. 检索模块需要在短时间内处理大量查询，而语义检索（如DPR）需要进行大量的计算和存储操作，计算资源消耗高，影响系统响应速度。特别是对于需要实时响应的应用场景，DPR的计算复杂度往往难以满足实际需求，因此在实时性和资源利用率上亟需优化。
- 检索结果的冗余性导致内容重复
1. 当检索策略未对结果进行去重或排序优化时，RAG模型可能从知识库中检索出相似度高但内容冗余的文档片段。这会导致生成的回答中包含重复信息，影响阅读体验，同时增加无效信息的比例，使用户难以迅速获取核心答案。
- 不同任务需求下检索策略的适配性差
1. RAG模型应用场景丰富，但不同任务对检索精度、速度和上下文长度的需求不尽相同。固定检索策略难以灵活应对多样化的任务需求，导致在应对不同任务时，模型检索效果受限。例如，面向精确性较高的医疗问答场景时，检索策略应偏向语义准确性，而在热点新闻场景中则应偏重检索速度。
- 改进：
- 针对上述不足，可以从以下几个方面优化检索模块：
- 结合BM25与DPR的混合检索策略
1. 具体实施：采用BM25进行关键词初筛，快速排除无关信息，然后使用DPR进行深度语义匹配筛选。这样可以有效提升检索精度，平衡关键词匹配和语义理解。
2. 目的与效果：通过多层筛选过程，确保检索结果在语义理解和关键词匹配方面互补，提升生成内容的准确性，特别适用于多意图查询或复杂的长文本检索。
- 优化检索效率，控制计算资源消耗
1. 具体实施：利用缓存机制存储近期高频查询结果，避免对相似查询的重复计算。同时，可基于分布式计算结构，将DPR的语义计算任务分散至多节点并行处理。
2. 目的与效果：缓存与分布式计算结合可显著减少检索计算压力，使系统能够在有限资源下提高响应速度，适用于高并发、实时性要求高的应用场景。
- 引入去重和排序优化算法
1. 具体实施：在检索结果中应用余弦相似度去重算法，筛除冗余内容，并基于用户偏好或时间戳对检索结果排序，以确保输出内容的丰富性和新鲜度。
2. 目的与效果：通过去重和优化排序，确保生成内容更加简洁、直接，减少重复信息的干扰，提高用户获取信息的效率和体验。
- 动态调整检索策略适应多任务需求
1. 具体实施：设置不同检索策略模板，根据任务类型自动调整检索权重、片段长度和策略组合。例如在医疗场景中偏向语义检索，而在金融新闻场景中更重视快速关键词匹配。
2. 目的与效果：动态调整检索策略使RAG模型更加灵活，能够适应不同任务需求，确保检索的精准性和生成答案的上下文适配性，显著提升多场景下的用户体验。
- 借助Haystack等检索优化框架
1. 具体实施：在RAG模型中集成Haystack框架，以实现更高效的检索效果，并利用框架中的插件生态系统来增强检索模块的可扩展性和可调节性。
2. 目的与效果：Haystack提供了检索和生成的整合接口，有助于快速优化检索模块，并适应复杂多样的用户需求，在多任务环境中提供更稳定的性能表现。
## 5.4 回答生成与优化
在RAG模型中，生成器负责基于检索模块提供的上下文，为用户查询生成自然语言答案。生成内容的准确性和逻辑性直接决定了用户的体验，因此优化生成器的表现至关重要。通过引入知识图谱等结构化信息，生成器能够更准确地理解和关联上下文，从而生成逻辑连贯、准确的回答。此外，生成器的生成逻辑可结合用户反馈持续优化，使回答风格和内容更加符合用户需求。
- 挑战：
- 在回答生成过程中，RAG模型仍面临以下不足：
- 上下文不充分导致的逻辑不连贯
1. 当生成器在上下文缺失或信息不完整的情况下生成回答时，生成内容往往不够连贯，特别是在处理复杂、跨领域任务时。这种缺乏上下文支持的问题，容易导致生成器误解或忽略关键信息，最终生成内容的逻辑性和完整性欠佳。如在医学场景中，若生成器缺少对病例或症状的全面理解，可能导致回答不准确或不符合逻辑，影响专业性和用户信任度。
- 专业领域回答的准确性欠佳
1. 在医学、法律等高专业领域中，生成器的回答需要高度的准确性。然而，生成器可能因缺乏特定知识而生成不符合领域要求的回答，出现内容偏差或理解错误，尤其在涉及专业术语和复杂概念时更为明显。如在法律咨询中，生成器可能未能正确引用相关法条或判例，导致生成的答案不够精确，甚至可能产生误导。
- 难以有效整合多轮用户反馈
1. 生成器缺乏有效机制来利用多轮用户反馈进行自我优化。用户反馈可能涉及回答内容的准确性、逻辑性以及风格适配等方面，但生成器在连续对话中缺乏充分的调节机制，难以持续调整生成策略和回答风格。如在客服场景中，生成器可能连续生成不符合用户需求的回答，降低了用户满意度。
- 生成内容的可控性和一致性不足
1. 在特定领域回答生成中，生成器的输出往往不具备足够的可控性和一致性。由于缺乏领域特定的生成规则和约束，生成内容的专业性和风格一致性欠佳，难以满足高要求的应用场景。如在金融报告生成中，生成内容需要确保一致的风格和术语使用，否则会影响输出的专业性和可信度。
- 改进：
- 针对以上不足，可以从以下方面优化回答生成模块：
- 引入知识图谱与结构化数据，增强上下文理解
1. 具体实施：结合知识图谱或知识库，将医学、法律等专业领域的信息整合到生成过程中。生成器在生成回答时，可以从知识图谱中提取关键信息和关联知识点，确保回答具备连贯的逻辑链条。
2. 目的与效果：知识图谱的引入提升了生成内容的连贯性和准确性，尤其在高专业性领域中，通过丰富的上下文理解，使生成器能够产生符合逻辑的回答。
- 设计专业领域特定的生成规则和约束
1. 具体实施：在生成模型中加入领域特定的生成规则和用语约束，特别针对医学、法律等领域的常见问答场景，设定回答模板、术语库等，以提高生成内容的准确性和一致性。
2. 目的与效果：生成内容更具领域特征，输出风格和内容的专业性增强，有效降低了生成器在专业领域中的回答偏差，满足用户对专业性和可信度的要求。
- 优化用户反馈机制，实现动态生成逻辑调整
1. 具体实施：利用机器学习算法对用户反馈进行分析，从反馈中提取生成错误或用户需求的调整信息，动态调节生成器的生成逻辑和策略。同时，在多轮对话中逐步适应用户的需求和风格偏好。
2. 目的与效果：用户反馈的高效利用能够帮助生成器优化生成内容，提高连续对话中的响应质量，提升用户体验，并使回答更贴合用户需求。
- 引入生成器与检索器的协同优化机制
1. 具体实施：通过协同优化机制，在生成器生成答案之前，允许生成器请求检索器补充缺失的上下文信息。生成器可基于回答需求自动向检索器发起上下文补充请求，从而获取完整的上下文。
2. 目的与效果：协同优化机制保障了生成器在回答时拥有足够的上下文支持，避免信息断层或缺失，提升回答的完整性和准确性。
- 实施生成内容的一致性检测和语义校正
1. 具体实施：通过一致性检测算法对生成内容进行术语、风格的统一管理，并结合语义校正模型检测生成内容是否符合用户需求的逻辑结构。在复杂回答生成中，使用语义校正对不符合逻辑的生成内容进行自动优化。
2. 目的与效果：生成内容具备高度一致性和逻辑性，特别是在多轮对话和专业领域生成中，保障了内容的稳定性和专业水准，提高了生成答案的可信度和用户满意度。
## 5.5 RAG流程
![](/imgs/RAG1.png)
1. 数据加载与查询输入：
1. 用户通过界面或API提交自然语言查询，系统接收查询作为输入。
2. 输入被传递至向量化器，利用向量化技术（如BERT或Sentence Transformer）将自然语言查询转换为向量表示。
2. 文档检索：
1. 向量化后的查询会传递给检索器，检索器通过在知识库中查找最相关的文档片段。
2. 检索可以基于稀疏检索技术（如BM25）或密集检索技术（如DPR）来提高匹配效率和精度。
3. 生成器处理与自然语言生成：
1. 检索到的文档片段作为生成器的输入，生成器（如GPT、BART或T5）基于查询和文档内容生成自然语言回答。
2. 生成器结合了外部检索结果和预训练模型的语言知识，使回答更加精准、自然。
4. 结果输出：
1. 系统生成的答案通过API或界面返回给用户，确保答案连贯且知识准确。
5. 反馈与优化：
1. 用户可以对生成的答案进行反馈，系统根据反馈优化检索与生成过程。
2. 通过微调模型参数或调整检索权重，系统逐步改进其性能，确保未来查询时更高的准确性与效率。
# 6. RAG相关案例整合
[各种分类领域下的RAG](https://github.com/hymie122/RAG-Survey)
# 7. RAG模型的应用
RAG模型已在多个领域得到广泛应用，主要包括：
## 7.1 智能问答系统中的应用
- RAG通过实时检索外部知识库，生成包含准确且详细的答案，避免传统生成模型可能产生的错误信息。例如，在医疗问答系统中，RAG能够结合最新的医学文献，生成包含最新治疗方案的准确答案，避免生成模型提供过时或错误的建议。这种方法帮助医疗专家快速获得最新的研究成果和诊疗建议，提升医疗决策的质量。
- [医疗问答系统案例](https://www.apexon.com/blog/empowering-discovery-the-role-of-rag-architecture-generative-ai-in-healthcare-life-sciences/)
- ![](/imgs/RAG2.png)
- 用户通过Web应用程序发起查询：
1. 用户在一个Web应用上输入查询请求，这个请求进入后端系统，启动了整个数据处理流程。
- 使用Azure AD进行身份验证：
1. 系统通过Azure Active Directory (Azure AD) 对用户进行身份验证，确保只有经过授权的用户才能访问系统和数据。
- 用户权限检查：
1. 系统根据用户的组权限（由Azure AD管理）过滤用户能够访问的内容。这个步骤保证了用户只能看到他们有权限查看的信息。
- Azure AI搜索服务：
1. 过滤后的用户查询被传递给Azure AI搜索服务，该服务会在已索引的数据库或文档中查找与查询相关的内容。这个搜索引擎通过语义搜索技术检索最相关的信息。
- 文档智能处理：
1. 系统使用OCR（光学字符识别）和文档提取等技术处理输入的文档，将非结构化数据转换为结构化、可搜索的数据，便于Azure AI进行检索。
- 文档来源：
1. 这些文档来自预先存储的输入文档集合，这些文档在被用户查询之前已经通过文档智能处理进行了准备和索引。
- Azure Open AI生成响应：
1. 在检索到相关信息后，数据会被传递到Azure Open AI，该模块利用自然语言生成（NLG）技术，根据用户的查询和检索结果生成连贯的回答。
- 响应返回用户：
1. 最终生成的回答通过Web应用程序返回给用户，完成整个查询到响应的流程。
- 整个流程展示了Azure AI技术的集成，通过文档检索、智能处理以及自然语言生成来处理复杂的查询，并确保了数据的安全和合规性。
## 7.2 信息检索与文本生成
- 文本生成：RAG不仅可以检索相关文档，还能根据这些文档生成总结、报告或文档摘要，从而增强生成内容的连贯性和准确性。例如，法律领域中，RAG可以整合相关法条和判例，生成详细的法律意见书，确保内容的全面性和严谨性。这在法律咨询和文件生成过程中尤为重要，可以帮助律师和法律从业者提高工作效率。
- [法律领域检索增强生成案例](https://www.apexon.com/blog/empowering-discovery-the-role-of-rag-architecture-generative-ai-in-healthcare-life-sciences/)
- 内容总结：
- 背景： 传统的大语言模型 (LLMs) 在生成任务中表现优异，但在处理法律领域中的复杂任务时存在局限。法律文档具有独特的结构和术语，标准的检索评估基准往往无法充分捕捉这些领域特有的复杂性。为了弥补这一不足，LegalBench-RAG 旨在提供一个评估法律文档检索效果的专用基准。
- LegalBench-RAG 的结构：
1. ![](/imgs/RAG3.png)
2. 工作流程：
3. 用户输入问题（Q: ?，A: ?）：用户通过界面输入查询问题，提出需要答案的具体问题。
4. 嵌入与检索模块（Embed + Retrieve）：该模块接收到用户的查询后，会对问题进行嵌入（将其转化为向量），并在外部知识库或文档中执行相似度检索。通过检索算法，系统找到与查询相关的文档片段或信息。
5. 生成答案（A）：基于检索到的最相关信息，生成模型（如GPT或类似的语言模型）根据检索的结果生成连贯的自然语言答案。
6. 对比和返回结果：生成的答案会与之前的相关问题答案进行对比，并最终将生成的答案返回给用户。
7. 该基准基于 LegalBench 的数据集，构建了 6858 个查询-答案对，并追溯到其原始法律文档的确切位置。
8. LegalBench-RAG 侧重于精确地检索法律文本中的小段落，而非宽泛的、上下文不相关的片段。
9. 数据集涵盖了合同、隐私政策等不同类型的法律文档，确保涵盖多个法律应用场景。
- 意义： LegalBench-RAG 是第一个专门针对法律检索系统的公开可用的基准。它为研究人员和公司提供了一个标准化的框架，用于比较不同的检索算法的效果，特别是在需要高精度的法律任务中，例如判决引用、条款解释等。
- 关键挑战：
1. RAG 系统的生成部分依赖检索到的信息，错误的检索结果可能导致错误的生成输出。
2. 法律文档的长度和术语复杂性增加了模型检索和生成的难度。
- 质量控制： 数据集的构建过程确保了高质量的人工注释和文本精确性，特别是在映射注释类别和文档ID到具体文本片段时进行了多次人工校验。
## 7.3 其它应用场景
RAG还可以应用于多模态生成场景，如图像、音频和3D内容生成。例如，跨模态应用如ReMoDiffuse和Make-An-Audio利用RAG技术实现不同数据形式的生成。此外，在企业决策支持中，RAG能够快速检索外部资源（如行业报告、市场数据），生成高质量的前瞻性报告，从而提升企业战略决策的能力。
## 8 总结
本文档系统阐述了检索增强生成（RAG）模型的核心机制、优势与应用场景。通过结合生成模型与检索模型，RAG解决了传统生成模型在面对事实性任务时的“编造”问题和检索模型难以生成连贯自然语言输出的不足。RAG模型能够实时从外部知识库获取信息，使生成内容既包含准确的知识，又具备流畅的语言表达，适用于医疗、法律、智能问答系统等多个知识密集型领域。
在应用实践中，RAG模型虽然有着信息完整性、推理能力和跨领域适应性等显著优势，但也面临着数据质量、计算资源消耗和知识库更新等挑战。为进一步提升RAG的性能，提出了针对数据采集、内容分块、检索策略优化以及回答生成的全面改进措施，如引入知识图谱、优化用户反馈机制、实施高效去重算法等，以增强模型的适用性和效率。
RAG在智能问答、信息检索与文本生成等领域展现了出色的应用潜力，并在不断发展的技术支持下进一步拓展至多模态生成和企业决策支持等场景。通过引入混合检索技术、知识图谱以及动态反馈机制，RAG能够更加灵活地应对复杂的用户需求，生成具有事实支撑和逻辑连贯性的回答。未来，RAG将通过增强模型透明性与可控性，进一步提升在专业领域中的可信度和实用性，为智能信息检索与内容生成提供更广泛的应用空间。

9
docSite/content/zh-cn/docs/guide/knowledge_base/_index.md Normal file
View File

@@ -0,0 +1,9 @@
---
weight: 400
title: '知识库'
description: '知识库的基础原理、搜索方案、Web站点同步和外部文件知识库的使用方法。'
icon: 'book'
draft: false
images: []
---
<!-- 400 ~ 450 -->

136
docSite/content/zh-cn/docs/guide/knowledge_base/dataset_engine.md Normal file
View File

@@ -0,0 +1,136 @@
---
title: '知识库搜索方案和参数'
description: '本节会详细介绍 FastGPT 知识库结构设计，理解其 QA 的存储格式和多向量映射，以便更好的构建知识库。同时会介绍每个搜索参数的功能。这篇介绍主要以使用为主，详细原理不多介绍。'
icon: 'language'
draft: false
toc: true
weight: 404
---
## 理解向量
FastGPT 采用了 RAG 中的 Embedding 方案构建知识库，要使用好 FastGPT 需要简单的理解`Embedding`向量是如何工作的及其特点。
人类的文字、图片、视频等媒介是无法直接被计算机理解的，要想让计算机理解两段文字是否有相似性、相关性，通常需要将它们转成计算机可以理解的语言，向量是其中的一种方式。
向量可以简单理解为一个数字数组，两个向量之间可以通过数学公式得出一个`距离`，距离越小代表两个向量的相似度越大。从而映射到文字、图片、视频等媒介上，可以用来判断两个媒介之间的相似度。向量搜索便是利用了这个原理。
而由于文字是有多种类型，并且拥有成千上万种组合方式，因此在转成向量进行相似度匹配时，很难保障其精确性。在向量方案构建的知识库中，通常使用`topk`召回的方式，也就是查找前`k`个最相似的内容，丢给大模型去做更进一步的`语义判断`、`逻辑推理`和`归纳总结`，从而实现知识库问答。因此，在知识库问答中，向量搜索的环节是最为重要的。
影响向量搜索精度的因素非常多，主要包括：向量模型的质量、数据的质量（长度，完整性，多样性）、检索器的精度（速度与精度之间的取舍）。与数据质量对应的就是检索词的质量。
检索器的精度比较容易解决，向量模型的训练略复杂，因此数据和检索词质量优化成了一个重要的环节。
### 提高向量搜索精度的方法
1. 更好分词分段：当一段话的结构和语义是完整的，并且是单一的，精度也会提高。因此，许多系统都会优化分词器，尽可能的保障每组数据的完整性。
2. 精简`index`的内容，减少向量内容的长度：当`index`的内容更少，更准确时，检索精度自然会提高。但与此同时，会牺牲一定的检索范围，适合答案较为严格的场景。
3. 丰富`index`的数量，可以为同一个`chunk`内容增加多组`index`。
4. 优化检索词：在实际使用过程中，用户的问题通常是模糊的或是缺失的，并不一定是完整清晰的问题。因此优化用户的问题（检索词）很大程度上也可以提高精度。
5. 微调向量模型：由于市面上直接使用的向量模型都是通用型模型，在特定领域的检索精度并不高，因此微调向量模型可以很大程度上提高专业领域的检索效果。
## FastGPT 构建知识库方案
### 数据存储结构
在 FastGPT 中，整个知识库由库、集合和数据 3 部分组成。集合可以简单理解为一个`文件`。一个`库`中可以包含多个`集合`，一个`集合`中可以包含多组`数据`。最小的搜索单位是`库`，也就是说，知识库搜索时，是对整个`库`进行搜索，而集合仅是为了对数据进行分类管理，与搜索效果无关。（起码目前还是）
![](/imgs/dataset_tree.png)
### 向量存储结构
FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引为`HNSW`。且`PostgresSQL`仅用于向量检索（该引擎可以替换成其它数据库），`MongoDB`用于其他数据的存取。
在`MongoDB`的`dataset.datas`表中，会存储向量原数据的信息，同时有一个`indexes`字段，会记录其对应的向量ID，这是一个数组，也就是说，一组数据可以对应多个向量。
在`PostgresSQL`的表中，设置一个`vector`字段用于存储向量。在检索时，会先召回向量，再根据向量的ID，去`MongoDB`中寻找原数据内容，如果对应了同一组原数据，则进行合并，向量得分取最高得分。
![](/imgs/datasetSetting1.png)
### 多向量的目的和使用方式
在一组向量中，内容的长度和语义的丰富度通常是矛盾的，无法兼得。因此，FastGPT 采用了多向量映射的方式，将一组数据映射到多组向量中，从而保障数据的完整性和语义的丰富度。
你可以为一组较长的文本，添加多组向量，从而在检索时，只要其中一组向量被检索到，该数据也将被召回。
意味着，你可以通过标注数据块的方式，不断提高数据块的精度。
### 检索方案
1. 通过`问题优化`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
2. 通过`Concat query`来增加`Rerank`连续对话的时，排序的准确性。
3. 通过`RRF`合并方式，综合多个渠道的检索效果。
4. 通过`Rerank`来二次排序，提高精度。
![](/imgs/dataset_search_process.png)
## 搜索参数
| | | |
| --- |---| --- |
|![](/imgs/dataset_search_params1.png)| ![](/imgs/dataset_search_params2.png) | ![](/imgs/dataset_search_params3.png) |
### 搜索模式
#### 语义检索
语义检索是通过向量距离，计算用户问题与知识库内容的距离，从而得出“相似度”，当然这并不是语文上的相似度，而是数学上的。
优点：
- 相近语义理解
- 跨多语言理解（例如输入中文问题匹配英文知识点）
- 多模态理解（文本，图片，音视频等）
缺点：
- 依赖模型训练效果
- 精度不稳定
- 受关键词和句子完整度影响
#### 全文检索
采用传统的全文检索方式。适合查找关键的主谓语等。
#### 混合检索
同时使用向量检索和全文检索，并通过 RRF 公式进行两个搜索结果合并，一般情况下搜索结果会更加丰富准确。
由于混合检索后的查找范围很大，并且无法直接进行相似度过滤，通常需要进行利用重排模型进行一次结果重新排序，并利用重排的得分进行过滤。
#### 结果重排
利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题优化后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结果进行合并，得到最终的搜索结果。
### 搜索过滤
#### 引用上限
每次搜索最多引用`n`个`tokens`的内容。
之所以不采用`top k`，是发现在混合知识库（问答库、文档库）时，不同`chunk`的长度差距很大，会导致`top k`的结果不稳定，因此采用了`tokens`的方式进行引用上限的控制。
#### 最低相关度
一个`0-1`的数值，会过滤掉一些低相关度的搜索结果。
该值仅在`语义检索`或使用`结果重排`时生效。
### 问题优化
#### 背景
在 RAG 中，我们需要根据输入的问题去数据库里执行 embedding 搜索，查找相关的内容，从而查找到相似的内容（简称知识库搜索）。
在搜索的过程中，尤其是连续对话的搜索，我们通常会发现后续的问题难以搜索到合适的内容，其中一个原因是知识库搜索只会使用“当前”的问题去执行。看下面的例子：
![](/imgs/coreferenceResolution2.webp)
用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题优化】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
![](/imgs/coreferenceResolution3.webp)
#### 实现方式
在进行`数据检索`前，会先让模型进行`指代消除`与`问题扩展`，一方面可以可以解决指代对象不明确问题，同时可以扩展问题的语义丰富度。你可以通过每次对话后的对话详情，查看补全的结果。

26
docSite/content/zh-cn/docs/guide/knowledge_base/externalFile.md Normal file
View File

@@ -0,0 +1,26 @@
---
title: '外部文件知识库'
description: 'FastGPT 外部文件知识库功能介绍和使用方式'
icon: 'language'
draft: false
toc: true
weight: 408
---
外部文件库是 FastGPT 商业版特有功能。它允许接入你现在的文件系统，无需将文件再导入一份到 FastGPT 中。
并且，阅读权限可以通过你的文件系统进行控制。
| | | |
| --------------------- | --------------------- | --------------------- |
| ![](/imgs/external_file0.png) | ![](/imgs/external_file1.png) | ![](/imgs/external_file2.png) |
## 导入参数说明
- 外部预览地址：用于跳转你的文件阅读地址，会携带“文件阅读ID”进行访问。
- 文件访问URL：文件可访问的地址。
- 文件阅读ID：通常情况下，文件访问URL是临时的。如果希望永久可以访问，你需要使用该文件阅读ID，并配合上“外部预览地址”，跳转至新的阅读地址进行原文件访问。
- 文件名：默认会自动解析文件访问URL上的文件名。如果你手动填写，将会以手动填写的值为准。
[点击查看API导入文档](/docs/development/openapi/dataset/#创建一个外部文件库集合商业版)

80
docSite/content/zh-cn/docs/guide/knowledge_base/websync.md Normal file
View File

@@ -0,0 +1,80 @@
---
title: 'Web 站点同步'
description: 'FastGPT Web 站点同步功能介绍和使用方式'
icon: 'language'
draft: false
toc: true
weight: 406
---
![](/imgs/webSync1.jpg)
该功能目前仅向商业版用户开放。
## 什么是 Web 站点同步
Web 站点同步利用爬虫的技术，可以通过一个入口网站，自动捕获`同域名`下的所有网站，目前最多支持`200`个子页面。出于合规与安全角度，FastGPT 仅支持`静态站点`的爬取，主要用于各个文档站点快速构建知识库。
Tips: 国内的媒体站点基本不可用，公众号、csdn、知乎等。可以通过终端发送`curl`请求检测是否为静态站点，例如：
```bash
curl https://doc.tryfastgpt.ai/docs/intro/
```
## 如何使用
### 1. 新建知识库，选择 Web 站点同步
![](/imgs/webSync2.png)
![](/imgs/webSync3.png)
### 2. 点击配置站点信息
![](/imgs/webSync4.png)
### 3. 填写网址和选择器
![](/imgs/webSync5.jpg)
好了， 现在点击开始同步，静等系统自动抓取网站信息即可。
## 创建应用，绑定知识库
![](/imgs/webSync6.webp)
## 选择器如何使用
选择器是 HTML CSS JS 的产物，你可以通过选择器来定位到你需要抓取的具体内容，而不是整个站点。使用方式为：
### 首先打开浏览器调试面板（通常是 F12，或者【右键 - 检查】）
![](/imgs/webSync7.webp)
![](/imgs/webSync8.webp)
### 输入对应元素的选择器
[菜鸟教程 css 选择器](https://www.runoob.com/cssref/css-selectors.html)，具体选择器的使用方式可以参考菜鸟教程。
上图中，我们选中了一个区域，对应的是`div`标签，它有 `data-prismjs-copy`, `data-prismjs-copy-success`, `data-prismjs-copy-error` 三个属性，这里我们用到一个就够。所以选择器是：
**`div[data-prismjs-copy]`**
除了属性选择器，常见的还有类和ID选择器。例如：
![](/imgs/webSync9.webp)
上图 class 里的是类名（可能包含多个类名，都是空格隔开的，选择一个即可），选择器可以为：**`.docs-content`**
### 多选择器使用
在开头的演示中，我们对 FastGPT 文档是使用了多选择器的方式来选择，通过逗号隔开了两个选择器。
![](/imgs/webSync10.webp)
我们希望选中上图两个标签中的内容，此时就需要两组选择器。一组是：`.docs-content .mb-0.d-flex`，含义是 `docs-content` 类下同时包含 `mb-0`和`d-flex` 两个类的子元素；
另一组是`.docs-content div[data-prismjs-copy]`，含义是`docs-content` 类下包含`data-prismjs-copy`属性的`div`元素。
把两组选择器用逗号隔开即可：`.docs-content .mb-0.d-flex, .docs-content div[data-prismjs-copy]`

9
docSite/content/zh-cn/docs/guide/plugins/_index.md Normal file
View File

@@ -0,0 +1,9 @@
---
weight: 300
title: '系统插件'
description: '介绍如何使用和提交系统插件，以及各插件的填写说明'
icon: 'extension'
draft: false
images: []
---
<!-- 300 ~ 400 -->

32
docSite/content/zh-cn/docs/guide/plugins/bing_search_plugin.md Normal file
View File

@@ -0,0 +1,32 @@
---
title: "Bing 搜索插件填写说明"
description: "FastGPT Bing 搜索插件配置步骤详解"
icon: "bing_search"
draft: false
toc: true
weight: 306
---
1. # 打开微软Azure官网，登陆账号
https://portal.azure.com/
![](/imgs/bing_search_plugin1.png)
1. # 创建bing web搜索资源
搜索Bing Search v7，点击创建
https://portal.azure.com/#create/Microsoft.BingSearch
![](/imgs/bing_search_plugin2.png)
1. # 进入资源详情点击管理密钥
![](/imgs/bing_search_plugin3.png)
# 4. 复制任意一个密钥填入插件输入
![](/imgs/bing_search_plugin4.png)
![](/imgs/bing_search_plugin5.png)

26
docSite/content/zh-cn/docs/guide/plugins/doc2x_plugin_guide.md Normal file
View File

@@ -0,0 +1,26 @@
---
title: "Doc2x 插件填写说明"
description: "如何配置和使用 Doc2x 插件"
icon: "doc_transform"
draft: false
toc: true
weight: 308
---
1. # 打开docx官网，创建账号，并复制 apikey
https://doc2x.noedgeai.com/
![](/imgs/doc2x_plugin1.png)
![](/imgs/doc2x_plugin2.png)
1. # 填写apikey到fastgpt中
**工作流****中：**
![](/imgs/doc2x_plugin3.png)
**简易模式使用：**
![](/imgs/doc2x_plugin4.png)

32
docSite/content/zh-cn/docs/guide/plugins/google_search_plugin_guide.md Normal file
View File

@@ -0,0 +1,32 @@
---
title: "Google 搜索插件填写说明"
description: "FastGPT Google 搜索插件配置指南"
icon: "google_search"
draft: false
toc: true
weight: 304
---
1. # 创建Google Custom Search Engine
https://programmablesearchengine.google.com/
我们连到Custom Search Engine control panel 建立Search Engine
![](/imgs/google_search_plugin1.png)
取得搜索引擎的ID，即cx
![](/imgs/google_search_plugin2.png)
1. # 获取api key
https://developers.google.com/custom-search/v1/overview?hl=zh-cn
![](/imgs/google_search_plugin3.png)
1. # 填入插件输入参数
将搜索引擎ID填入cx字段，api key填入key字段
![](/imgs/google_search_plugin4.png)

118
docSite/content/zh-cn/docs/guide/plugins/how_to_submit_system_plugin.md Normal file
View File

@@ -0,0 +1,118 @@
---
title: "如何提交系统插件"
description: "FastGPT 系统插件提交指南"
icon: "plugin_submission"
draft: false
toc: true
weight: 302
---
> 如何向 FastGPT 社区提交系统插件
## 系统插件原则
- 尽可能的轻量简洁，以解决实际问题的工具为主
- 不允许有密集 cpu 计算，不会占用大量内存占用或网络消耗
- 不允许操作数据库
- 不允许往固定的私人地址发送请求（不包含请求某些在线服务，例如 gapier, firecrawl等)
- 不允许使用私人包，可使用主流的开源包
## 什么插件可以合并
由于目前未采用按需安装的模式，合并进仓库的插件会全部展示给用户使用。
为了控制插件的质量以及避免数量过多带来的繁琐，并不是所有的插件都会被合并到开源仓库中，你可以提前 PR 与我们沟通插件的内容。
后续实现插件按需安装后，我们会允许更多的社区插件合入。
## 如何写一个系统插件 - 初步
FastGPT 系统插件和用户工作台的插件效果是一致的，所以你需要提前了解“插件”的定义和功能。
在 FastGPT 中，插件是一种特殊的工作流，它允许你将一个工作流封装起来，并自定义入口参数和出口参数，类似于代码里的 “子函数”。
1. ### 跑通 FastGPT dev 环境
需要在 dev 环境下执行下面的操作。
1. ### 在 FastGPT 工作台中，创建一个插件
选择基础模板即可。
![](/imgs/plugin_submission1.png)
1. ### 创建系统插件配置
系统插件配置以及自定义代码，都会在 **packages/plugins** 目录下。
1. 在 **packages/plugins/src** 下，复制一份 **template** 目录，并修改名字。
2. 打开目录里面的 template.json 文件，配置如下：
3. 目录还有一个 index.ts 文件，下文再提。
```TypeScript
{
"author": "填写你的名字",
"version": "当前系统版本号",
"name": "插件名",
"avatar": "插件头像，需要配成 icon 格式。直接把 logo 图在 pr 评论区提交即可，我们会帮你加入。",
"intro": " 插件的描述，这个描述会影响工具调用",
"showStatus": false, // 是否在对话过程展示状态
"weight": 10, // 排序权重，均默认 10
"isTool": true, // 是否作为工具调用节点
"templateType": "tools", // 都填写 tools 即可，由官方来分类
"workflow": { // 这个对象先不管，待会直接粘贴导出的工作流即可
"nodes": [],
"edges": []
}
}
```
1. 打开 **packages/plugins/register** 文件，注册你的插件。在 list 数组中，加入一个你插件目录的名字，如下图的例子。如需构建插件组（带目录），可参考 DuckDuckGo 插件。
无需额外写代码的插件，直接放在 staticPluginList 内，需要在项目内额外写代码的，写在 packagePluginList 中。
![](/imgs/plugin_submission2.png)
1. ### 完成工作流编排并测试
完成工作流编排后，可以点击右上角的发布，并在其他工作流中引入进行测试（此时属于团队插件）。
1. ### 复制配置到 template.json
鼠标放置在左上角插件的头像和名称上，会出现对于下拉框操作，可以导出工作流配置。
导出的配置，会自动到剪切板，可以直接到 template.json 文件中粘贴使用，替换步骤 2 中，**workflow** 的值。
![](/imgs/plugin_submission3.png)
1. ### 验证插件是否加载成功
刷新页面，打开系统插件，看其是否成功加载，并将其添加到工作流中使用。
![](/imgs/plugin_submission4.png)
1. ### 提交 PR
如果你觉得你的插件需要提交到开源仓库，可以通过 PR 形式向我们提交。
- 写清楚插件的介绍和功能
- 配上插件运行的效果图
- 插件参数填写说明，需要在 PR 中写清楚。例如，有些插件需要去某个提供商申请 key，需要附上对应的地址和教材，后续我们会加入到文档中。
## 写一个复杂的系统插件 - 进阶
这一章会介绍如何增加一些无法单纯通过编排实现的插件。因为可能需要用到网络请求或第三方包。
上一章提到，在插件的 **template** 目录下，还有一个 **index.ts** 文件，这个文件就是用来执行一些插件的代码的。你可以通过在 HTTP 节点中的 URL，填写插件的名字，即可触发该方法，下面以 **duckduckgo/search** 这个插件为例：
![](/imgs/plugin_submission5.png)
![](/imgs/plugin_submission6.png)
![](/imgs/plugin_submission7.png)
参考上面 3 张图片，当 HTTP 节点的 URL 为系统插件注册的名字时，该请求不会以 HTTP 形式发送，而是会请求到 index.ts 文件中的 main 方法。出入参则对应了 body 和自定义输出的字段名。
由于目前插件会默认插件输出均作为“工具调用”的结果，无法单独指定某些字段作为工具输出，所以，请避免插件的自定义输出携带大量说明字段。

9
docSite/content/zh-cn/docs/guide/team_permissions/_index.md Normal file
View File

@@ -0,0 +1,9 @@
---
weight: 450
title: '团队与权限'
description: '团队管理、成员组与权限设置，确保团队协作中的数据安全和权限分配合理。'
icon: 'group'
draft: false
images: []
---
<!-- 450 ~ 500 -->

8
docSite/content/zh-cn/docs/guide/team_permissions/team_roles_permissions.md Normal file
View File

@@ -0,0 +1,8 @@
---
title: "团队&成员组&权限"
description: "如何管理 FastGPT 团队、成员组及权限设置"
icon: "group"
draft: false
toc: true
weight: 450
---

9
docSite/content/zh-cn/docs/guide/workbench/_index.md Normal file
View File

@@ -0,0 +1,9 @@
---
weight: 200
title: '工作台'
description: 'FastGPT 工作台及工作流节点的使用说明'
icon: 'dashboard'
draft: false
images: []
---
<!-- 200 ~ 300 -->

8
docSite/content/zh-cn/docs/guide/workbench/basic-mode.md Normal file
View File

@@ -0,0 +1,8 @@
---
weight: 202
title: '简易模式'
description: '快速了解 FastGPT 工作台的简易模式'
icon: 'speed'
draft: false
images: []
---

60
docSite/content/zh-cn/docs/guide/workbench/gapier.md Normal file
View File

@@ -0,0 +1,60 @@
---
title: "使用 Gapier 快速导入Agent工具"
description: "FastGPT 使用 Gapier 快速导入Agent工具"
icon: "build"
draft: false
toc: true
weight: 300
---
FastGPT V4.7版本加入了工具调用，可以兼容 GPTs 的 Actions。这意味着，你可以直接导入兼容 GPTs 的 Agent 工具。
Gapier 是一个在线 GPTs Actions工具，提供了50多种现成工具，并且每天有免费额度进行测试，方便用户试用，官方地址为：[https://gapier.com/](https://gapier.com/)。
![](/imgs/gapierToolResult1.webp)
现在，我们开始把 Gapier 的工具导入到 FastGPT 中。
## 1. 创建插件
| Step1 | Step2 | Step3 |
| --- | --- | --- |
| ![](/imgs/gapierTool1.png) | ![](/imgs/gapierTool2.png) | 登录[Gapier](https://gapier.com/) 复制相关参数 <br> ![](/imgs/gapierTool3.png) |
| Step4 | Step5 | Step6 |
| 自定义请求头: Authorization<br>请求值: Bearer 复制的key <br> ![](/imgs/gapierTool4.png) | ![](/imgs/gapierTool5.png) | ![](/imgs/gapierTool6.png) |
创建完后，如果需要变更，无需重新创建，只需要修改对应参数即可，会自动做差值比较更新。
![](/imgs/gapierTool7.png)
## 2. 应用绑定工具
### 简易模式
| Step1 | Step2 |
| --- | --- | --- |
| ![](/imgs/gapierTool8.png) | ![](/imgs/gapierTool9.webp) |
| Step3 | Step4 |
| ![](/imgs/gapierTool10.webp) | ![](/imgs/gapierTool11.png) |
### 高级编排
| Step1 | Step2 |
| --- | --- | --- |
| ![](/imgs/gapierTool12.webp) | ![](/imgs/gapierTool13.webp) |
| Step3 | Step4 |
| ![](/imgs/gapierTool14.webp) | ![](/imgs/gapierTool15.webp) |
![](/imgs/gapierTool16.webp)
## 3. 工具调用说明
### 不同模型的区别
不同模型调用工具采用不同的方法，有些模型支持 toolChoice 和 functionCall 效果会更好。不支持这两种方式的模型通过提示词调用，但是效果不是很好，并且为了保证顺利调用，FastGPT内置的提示词，仅支持每次调用一个工具。
具体哪些模型支持 functionCall 可以官网查看（当然，也需要OneAPI支持），同时需要调整模型配置文件中的对应字段（详细看配置字段说明）。
线上版用户，可以在模型选择时，看到是否支持函数调用的标识。
![](/imgs/gapierTool17.webp)

93
docSite/content/zh-cn/docs/guide/workbench/intro.md Normal file
View File

@@ -0,0 +1,93 @@
---
title: "工作流&插件"
description: "快速了解 FastGPT 工作流和插件的使用"
icon: "extension"
draft: false
toc: true
weight: 220
---
FastGPT 从 V4 版本开始采用新的交互方式来构建 AI 应用。使用了 Flow 节点编排（工作流）的方式来实现复杂工作流，提高可玩性和扩展性。但同时也提高了上手的门槛，有一定开发背景的用户使用起来会比较容易。
[查看视频教程](https://www.bilibili.com/video/BV1is421u7bQ/)
![](/imgs/flow-intro1.png)
## 什么是节点？
在程序中，节点可以理解为一个个 Function 或者接口。可以理解为它就是一个**步骤**。将多个节点一个个拼接起来，即可一步步的去实现最终的 AI 输出。
如下图，这是一个最简单的 AI 对话。它由用流程开始和 AI 对话节点组成。
![](/imgs/flow-intro2.png)
执行流程如下：
1. 用户输入问题后，【流程开始】节点执行，用户问题被保存。
2. 【AI 对话】节点执行，此节点有两个必填参数“聊天记录” “用户问题”，聊天记录的值是默认输入的6条，表示此模块上下文长度。用户问题选择的是【流程开始】模块中保存的用户问题。
3. 【AI 对话】节点根据传入的聊天记录和用户问题，调用对话接口，从而实现回答。
### 节点分类
从功能上，节点可以分为 2 类：
1. **系统节点**：用户引导（配置一些对话框信息）、用户问题（流程入口）。
2. **功能节点**：知识库搜索、AI 对话等剩余节点。（这些节点都有输入和输出，可以自由组合）。
### 节点的组成
每个节点会包含 3 个核心部分：输入、输出和触发器。
![](/imgs/flow-intro3.png)
- AI模型、提示词、聊天记录、用户问题，知识库引用为输入，节点的输入可以是手动输入也可以是变量引用，变量引用的范围包括“全局变量”和之前任意一个节点的输出。
- 新的上下文和AI回复内容为输出，输出可以被之后任意节点变量引用。
- 节点的上下左右有四个“触发器”可以被用来连接，被连接的节点按顺序决定是否执行。
## 重点 - 工作流是如何运行的
FastGPT的工作流从【流程开始】节点开始执行，可以理解为从用户输入问题开始，没有**固定的出口**，是以节点运行结束作为出口，如果在一个轮调用中，所有节点都不再允许，则工作流结束。
下面我们来看下，工作流是如何运行的，以及每个节点何时被触发执行。
![](/imgs/flow-intro1.png)
如上图所示节点会“被连接”也会“连接其他节点”，我们称“被连接”的那根线为前置线，“连接其他节点的线”为后置线。上图例子中【知识库搜索】模块左侧有一根前置线，右侧有一根后置线。而【AI对话】节点只有左侧一根前置线。
FastGPT工作流中的线有以下几种状态：
- `waiting`：被连接的节点等待执行。
- `active`：被连接的节点可以执行。
- `skip`：被连接的节点不需要执行跳过。
节点执行的原则：
1. 判断前置线中有没有状态为 `waiting` 的，如果有则等待。
2. 判断前置线中状态有没有状态为 `active` 如果有则执行。
3. 如果前置线中状态即没有 `waiting` 也没有 `active` 则认为此节点需要跳过。
4. 节点执行完毕后，需要根据实际情况更改后置线的状态为`active`或`skip`并且更改前置线状态为`waiting`等待下一轮执行。
让我们看一下上面例子的执行过程：
1. 【流程开始】节点执行完毕，更改后置线为`active`。
2. 【知识库搜索】节点判断前置线状态为`active`开始执行，执行完毕后更改后置线状态为`active` 前置线状态为`waiting`。
3. 【AI对话】节点判断前置线状态为`active`开始执行，流程执行结束。
## 如何连接节点
1. 为了方便连接，FastGPT 每个节点的上下左右都有连接点，左和上是前置线连接点，右和下是后置线连接点。
2. 可以点击连接线中间的 x 来删除连接线。
3. 可以左键点击选中连接线
## 如何阅读？
1. 建议从左往右阅读。
2. 从 **用户问题** 节点开始。用户问题节点，代表的是用户发送了一段文本，触发任务开始。
3. 关注【AI 对话】和【指定回复】节点，这两个节点是输出答案的地方。
## FAQ
### 想合并多个输出结果怎么实现？
1. 文本加工，可以对字符串进行合并。
2. 知识库搜索合并，可以合并多个知识库搜索结果
3. 其他结果，无法直接合并，可以考虑传入到`HTTP`节点中进行合并，使用`[Laf](https://laf.run/)`可以快速实现一个无服务器HTTP接口。

9
docSite/content/zh-cn/docs/guide/workbench/workflow/_index.md Normal file
View File

@@ -0,0 +1,9 @@
---
weight: 230
title: '工作流节点'
description: 'FastGPT 工作流节点设置和使用指南'
icon: 'workflow'
draft: false
images: []
---
<!-- 200 ~ 300 -->

34
docSite/content/zh-cn/docs/guide/workbench/workflow/ai_chat.md Normal file
View File

@@ -0,0 +1,34 @@
---
title: "AI 对话"
description: "FastGPT AI 对话模块介绍"
icon: "chat"
draft: false
toc: true
weight: 232
---
## 特点
- 可重复添加
- 触发执行
- 核心模块
![](/imgs/aichat.png)
## 参数说明
## AI模型
可以通过 [config.json](/docs/development/configuration/) 配置可选的对话模型，通过 [one-api](/docs/development/one-api/) 来实现多模型接入。
点击AI模型后，可以配置模型的相关参数。
![](/imgs/aichat02.png)
![](/imgs/aichat2.png)
{{% alert icon="🍅" context="success" %}}
具体配置参数介绍可以参考: [AI参数配置说明](/docs/guide/course/ai_settings/)
{{% /alert %}}

57
docSite/content/zh-cn/docs/guide/workbench/workflow/content_extract.md Normal file
View File

@@ -0,0 +1,57 @@
---
title: "文本内容提取"
description: "FastGPT 内容提取模块介绍"
icon: "content_paste_go"
draft: false
toc: true
weight: 240
---
## 特点
- 可重复添加
- 需要手动配置
- 触发执行
- function_call 模块
- 核心模块
![](/imgs/extract1.png)
## 功能
从文本中提取结构化数据，通常是配合 HTTP 模块实现扩展。也可以做一些直接提取操作，例如：翻译。
## 参数说明
### 提取要求描述
顾名思义，给模型设置一个目标，需要提取哪些内容。
**示例 1**
> 你是实验室预约助手，从对话中提取出姓名，预约时间，实验室号。当前时间 {{cTime}}
**示例 2**
> 你是谷歌搜索助手，从对话中提取出搜索关键词
**示例 3**
> 将我的问题直接翻译成英文，不要回答问题
### 历史记录
通常需要一些历史记录，才能更完整的提取用户问题。例如上图中需要提供姓名、时间和实验室名，用户可能一开始只给了时间和实验室名，没有提供自己的姓名。再经过一轮缺失提示后，用户输入了姓名，此时需要结合上一次的记录才能完整的提取出 3 个内容。
### 目标字段
目标字段与提取的结果相对应，从上图可以看到，每增加一个字段，输出会增加一个对应的出口。
+ **key**: 字段的唯一标识，不可重复！
+ **字段描述**：描述该字段是关于什么的，例如：姓名、时间、搜索词等等。
+ **必须**：是否强制模型提取该字段，可能提取出来是空字符串。
## 输出介绍
- **完整提取结果**: 一个 JSON 字符串，包含所有字段的提取结果。
- **目标字段提取结果**：类型均为字符串。

39
docSite/content/zh-cn/docs/guide/workbench/workflow/coreferenceResolution.md Normal file
View File

@@ -0,0 +1,39 @@
---
title: "问题优化"
description: "问题优化模块介绍和使用"
icon: "input"
draft: false
toc: true
weight: 264
---
## 特点
- 可重复添加
- 有外部输入
- 触发执行
![](/imgs/coreferenceResolution1.jpg)
## 背景
在 RAG 中，我们需要根据输入的问题去数据库里执行 embedding 搜索，查找相关的内容，从而查找到相似的内容（简称知识库搜索）。
在搜索的过程中，尤其是连续对话的搜索，我们通常会发现后续的问题难以搜索到合适的内容，其中一个原因是知识库搜索只会使用“当前”的问题去执行。看下面的例子：
![](/imgs/coreferenceResolution2.webp)
用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题优化】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
![](/imgs/coreferenceResolution3.webp)
## 功能
调用 AI 去对用户当前的问题进行补全。目前主要是补全“指代”词，使得检索词更加的完善可靠，从而增强上下文连续对话的知识库搜索能力。
遇到最大的难题在于：模型对于【补全】的概念可能不清晰，且对于长上下文往往无法准确的知道应该如何补全。
## 示例
- [接入谷歌搜索](/docs/use-cases/app-cases/google_search/)

35
docSite/content/zh-cn/docs/guide/workbench/workflow/custom_feedback.md Normal file
View File

@@ -0,0 +1,35 @@
---
title: "自定义反馈"
description: "自定义反馈模块介绍"
icon: "feedback"
draft: false
toc: true
weight: 268
---
该模块为临时模块，后续会针对该模块进行更全面的设计。
## 特点
- 可重复添加
- 无外部输入
- 自动执行
| | |
| --------------------- | --------------------- |
| ![](/imgs/customfeedback1.jpg) | ![](/imgs/customfeedback2.jpg) |
| ![](/imgs/customfeedback3.jpg) | ![](/imgs/customfeedback4.jpg) |
## 介绍
自定义反馈模块，可以为你的对话增加一个反馈标记，从而方便在后台更好的分析对话的数据。
在调试模式下，不会记录反馈内容，而是直接提示: `自动反馈测试: 反馈内容`。
在对话模式（对话、分享窗口、带 chatId 的 API 调用）时，会将反馈内容记录到对话日志中。（会延迟60s记录）
## 作用
自定义反馈模块的功能类似于程序开发的`埋点`，便于你观测的对话中的数据。

34
docSite/content/zh-cn/docs/guide/workbench/workflow/dataset_search.md Normal file
View File

@@ -0,0 +1,34 @@
---
title: '知识库搜索'
description: 'FastGPT AI 知识库搜索模块介绍'
icon: 'chat'
draft: false
toc: true
weight: 234
---
知识库搜索具体参数说明，以及内部逻辑请移步：[FastGPT知识库搜索方案](/docs/course/data_search/)
## 特点
- 可重复添加（复杂编排时防止线太乱，可以更美观）
- 有外部输入
- 有静态配置
- 触发执行
- 核心模块
![](/imgs/flow-dataset1.png)
## 参数说明
### 输入 - 关联的知识库
可以选择一个或多个**相同向量模型**的知识库，用于向量搜索。
### 输入 - 搜索参数
[点击查看参数介绍](/docs/course/data_search/#搜索参数)
### 输出 - 引用内容
以数组格式输出引用，长度可以为 0。意味着，即使没有搜索到内容，这个输出链路也会走通。

20
docSite/content/zh-cn/docs/guide/workbench/workflow/document_parsing.md Normal file
View File

@@ -0,0 +1,20 @@
---
title: "文档解析"
description: "FastGPT 文档解析模块介绍"
icon: "document_analysis"
draft: false
toc: true
weight: 250
---
<div style="display: flex; gap: 10px;">
<img src="/imgs/document_analysis1.png" alt="文档解析示例 1" width="35%" />
<img src="/imgs/document_analysis2.png" alt="文档解析示例 2" width="65%" />
</div>
开启文件上传后，可使用文档解析组件。
## 功能
## 作用

8
docSite/content/zh-cn/docs/guide/workbench/workflow/form_input.md Normal file
View File

@@ -0,0 +1,8 @@
---
title: "表单输入"
description: "FastGPT 表单输入模块介绍"
icon: "form_input"
draft: false
toc: true
weight: 244
---

255
docSite/content/zh-cn/docs/guide/workbench/workflow/http.md Normal file
View File

@@ -0,0 +1,255 @@
---
title: "HTTP 请求"
description: "FastGPT HTTP 模块介绍"
icon: "http"
draft: false
toc: true
weight: 252
---
## 特点
- 可重复添加
- 手动配置
- 触发执行
- 核中核模块
![](/imgs/http1.jpg)
## 介绍
HTTP 模块会向对应的地址发送一个 `HTTP` 请求，实际操作与 Postman 和 ApiFox 这类直流工具使用差不多。
- Params 为路径请求参数，GET请求中用的居多。
- Body 为请求体，POST/PUT请求中用的居多。
- Headers 为请求头，用于传递一些特殊的信息。
- 自定义变量中可以接收前方节点的输出作为变量
- 3 种数据中均可以通过 `{{}}` 来引用变量。
- url 也可以通过 `{{}}` 来引用变量。
- 变量来自于`全局变量`、`系统变量`、`前方节点输出`
## 参数结构
### 系统变量说明
你可以将鼠标放置在`请求参数`旁边的问号中，里面会提示你可用的变量。
- appId: 应用的ID
- chatId: 当前对话的ID，测试模式下不存在。
- responseChatItemId: 当前对话中，响应的消息ID，测试模式下不存在。
- variables: 当前对话的全局变量。
- cTime: 当前时间。
- histories: 历史记录（默认最多取10条，无法修改长度）
### Params, Headers
不多描述，使用方法和Postman, ApiFox 基本一致。
可通过 {{key}} 来引入变量。例如：
| key | value |
| --- | --- |
| appId | {{appId}} |
| Authorization | Bearer {{token}} |
### Body
只有特定请求类型下会生效。
可以写一个`自定义的 Json`，并通过 {{key}} 来引入变量。例如：
{{< tabs tabTotal="3" >}}
{{< tab tabName="假设有一组变量" >}}
{{< markdownify >}}
```json
{
"string": "字符串",
"number": 123,
"boolean": true,
"array": [1, 2, 3],
"obj": {
"name": "FastGPT",
"url": "https://tryfastgpt.ai"
}
}
```
{{< /markdownify >}}
{{< /tab >}}
{{< tab tabName="Http 模块中的Body声明" >}}
{{< markdownify >}}
注意，在 Body 中，你如果引用`字符串`，则需要加上`""`，例如：`"{{string}}"`。
```json
{
"string": "{{string}}",
"token": "Bearer {{string}}",
"number": {{number}},
"boolean": {{boolean}},
"array": [{{number}}, "{{string}}"],
"array2": {{array}},
"object": {{obj}}
}
```
{{< /markdownify >}}
{{< /tab >}}
{{< tab tabName="最终得到的解析" >}}
{{< markdownify >}}
```json
{
"string": "字符串",
"token": "Bearer 字符串",
"number": 123,
"boolean": true,
"array": [123, "字符串"],
"array2": [1, 2, 3],
"object": {
"name": "FastGPT",
"url": "https://tryfastgpt.ai"
}
}
```
{{< /markdownify >}}
{{< /tab >}}
{{< /tabs >}}
### 如何获取返回值
从图中可以看出，FastGPT可以添加多个返回值，这个返回值并不代表接口的返回值，而是代表`如何解析接口返回值`，可以通过 `JSON path` 的语法，来`提取`接口响应的值。
语法可以参考: https://github.com/JSONPath-Plus/JSONPath?tab=readme-ov-file
{{< tabs tabTotal="2" >}}
{{< tab tabName="接口响应示例" >}}
{{< markdownify >}}
```json
{
"message": "测试",
"data":{
"user": {
"name": "xxx",
"age": 12
},
"list": [
{
"name": "xxx",
"age": 50
},
[{ "test": 22 }]
],
"psw": "xxx"
}
}
```
{{< /markdownify >}}
{{< /tab >}}
{{< tab tabName="提取示例" >}}
{{< markdownify >}}
```json
{
"$.message": "测试",
"$.data.user": { "name": "xxx", "age": 12 },
"$.data.user.name": "xxx",
"$.data.user.age": 12,
"$.data.list": [ { "name": "xxx", "age": 50 }, [{ "test": 22 }] ],
"$.data.list[0]": { "name": "xxx", "age": 50 },
"$.data.list[0].name": "xxx",
"$.data.list[0].age": 50,
"$.data.list[1]": [ { "test": 22 } ],
"$.data.list[1][0]": { "test": 22 },
"$.data.list[1][0].test": 22,
"$.data.psw": "xxx"
}
```
{{< /markdownify >}}
{{< /tab >}}
{{< /tabs >}}
你可以配置对应的`key`来从`FastGPT 转化后的格式`获取需要的值，该规则遵守 JS 的对象取值规则。例如：
1. 获取`message`的内容，那么你可以配置`message`的`key`为`message`，这样就可以获取到`message`的内容。
2. 获取`user的name`，则`key`可以为：`data.user.name`。
3. 获取list中第二个元素，则`key`可以为：`data.list[1]`，然后输出类型选择字符串，则获自动获取到`[ { "test": 22 } ]`的`json`字符串。
### 自动格式化输出
FastGPT v4.6.8 后，加入了出参格式化功能，主要以`json`格式化成`字符串`为主。如果你的输出类型选择了`字符串`，则会将`HTTP`对应`key`的值，转成`json`字符串进行输出。因此，未来你可以直接从`HTTP`接口输出内容至`文本加工`中，然后拼接适当的提示词，最终输入给`AI对话`。
{{% alert context="warning" %}}
HTTP模块非常强大，你可以对接一些公开的API，来提高编排的功能。
如果你不想额外部署服务，可以使用 [Laf](https://laf.dev/) 来快速开发上线接口，即写即发，无需部署。
{{% /alert %}}
## laf 对接 HTTP 示例
下面是在 Laf 编写的 POST 请求示例：
```ts
import cloud from '@lafjs/cloud'
const db = cloud.database()
type RequestType = {
appId: string;
appointment: string;
action: 'post' | 'delete' | 'put' | 'get'
}
export default async function (ctx: FunctionContext) {
try {
// 从 body 中获取参数
const { appId, appointment, action } = ctx.body as RequestType
const parseBody = JSON.parse(appointment)
if (action === 'get') {
return await getRecord(parseBody)
}
if (action === 'post') {
return await createRecord(parseBody)
}
if (action === 'put') {
return await putRecord(parseBody)
}
if (action === 'delete') {
return await removeRecord(parseBody)
}
return {
response: "异常"
}
} catch (err) {
return {
response: "异常"
}
}
}
```
## 作用
通过 HTTP 模块你可以无限扩展，比如：
- 操作数据库
- 调用外部数据源
- 执行联网搜索
- 发送邮箱
- ....
## 相关示例
- [谷歌搜索](/docs/use-cases/app-cases/google_search/)
- [发送飞书webhook](/docs/use-cases/app-cases/feishu_webhook/)
- [实验室预约（操作数据库）](/docs/use-cases/app-cases/lab_appointment/)

29
docSite/content/zh-cn/docs/guide/workbench/workflow/knowledge_base_search_merge.md Normal file
View File

@@ -0,0 +1,29 @@
---
title: "知识库搜索引用合并"
description: "FastGPT 知识库搜索引用合并模块介绍"
icon: "knowledge_merge"
draft: false
toc: true
weight: 262
---
![](/imgs/knowledge_merge1.png)
## 作用
将多个知识库搜索结果合并成一个结果进行输出，并会通过 RRF 进行重新排序（根据排名情况），并且支持最大 tokens 过滤。
## 使用方法
AI对话只能接收一个知识库引用内容。因此，如果调用了多个知识库，无法直接引用所有知识库（如下图）
![](/imgs/knowledge_merge2.png)
使用**知识库搜索引用合并**，可以把多个知识库的搜索结果合在一起。
![](/imgs/knowledge_merge3.png)
## 可用例子：
1. 经过问题分类后对不同知识库进行检索，然后统一给一个 AI 进行回答，此时可以用到合并，不需要每个分支都添加一个 AI 对话。

98
docSite/content/zh-cn/docs/guide/workbench/workflow/laf.md Normal file
View File

@@ -0,0 +1,98 @@
---
title: "Laf 函数调用"
description: "FastGPT Laf 函数调用模块介绍"
icon: "code"
draft: false
toc: true
weight: 266
---
![](/imgs/laf1.webp)
## 介绍
`Laf 函数调用`模块可以调用 Laf 账号下的云函数，其工作原理与 HTTP 模块相同，有以下特殊特征：
- 只能使用 POST 请求
- 请求自带系统参数 systemParams，无需通过变量传递。
## 绑定 Laf 账号
要调用 Laf 云函数，首先需要绑定 Laf 账号和应用，并且在应用中创建云函数。
Laf 提供了 PAT(访问凭证) 来实现 Laf 平台外的快捷登录，可以访问 [Laf 文档](https://doc.Laf.run/zh/cli/#%E7%99%BB%E5%BD%95)查看详细如何获取 PAT。
在获取到 PAT 后，我们可以进入 FastGPT 的`账号页`或是在高级编排中的 `Laf模块` 对 Laf 账号进行绑定。Laf 账号是团队共享的，仅团队管理员可配置。
填入 PAT 验证后，选择需要绑定的应用（应用需要是 Running 状态），即可调用该应用下的云函数。
![](/imgs/laf2.webp)
## 编写云函数
Laf 云函数拥有根据 interface 自动生成 OpenAPI 的能力，可以参照下面的代码编写云函数，以便自动生成 OpenAPI 文档。
`Laf模块`可以根据 OpenAPI 文档，自动识别出入参，无需手动添加数据类型。如果不会写 TS，可忽略，手动在 FastGPT 中添加参数即可。
```ts
import cloud from '@lafjs/cloud'
interface IRequestBody { // 自定义入参，FastGPT 传入的均为POST请求。
data1: string // 必填参数
data2?: string // 可选参数
}
interface RequestProps extends IRequestBody { // 完整入参，这个无需改动。
systemParams: { // 这是FastGPT默认会传递过来的参数
appId: string,
variables: string,
histories: string,
cTime: string,
chatId: string,
responseChatItemId: string
}
}
interface IResponse { // 响应内容
message: string // 必返回的参数
msg?: string; // 可选的返回参数
}
export default async function (ctx: FunctionContext): Promise<IResponse> {
const {
data1,
data2,
systemParams
}: RequestProps = ctx.body;
console.log({
data1,
data2,
systemParams
});
return {
message: 'ok',
msg: 'msg'
};
}
```
当然，你也可以在 Laf 平台上选择 fastgpt_template，快速生成该函数模板。
具体操作可以是，进入 Laf 的函数页面，新建函数（注意 fastgpt 只会调用 post 请求的函数），然后复制上面的代码或者点击更多模板搜索“fastgpt”，使用下面的模板
![](/imgs/laf3.webp)
## FastGPT 中使用
在选择函数后，可以通过点击“同步参数”，自动同步云函数的参数到 FastGPT 中。当然也可以手动添加，手动修改后的参数不会被“同步参数”修改。
![](/imgs/laf4.png)
## 使用注意事项
### 调用报错
先在 laf 中调试函数，看是否正常调用。可以通过 console.log，打印入参，将入参放在 Laf 测试页面的 Body 中进行测试。

297
docSite/content/zh-cn/docs/guide/workbench/workflow/loop.md Normal file
View File

@@ -0,0 +1,297 @@
---
title: "循环执行"
description: "FastGPT 循环运行节点介绍和使用"
icon: "input"
draft: false
toc: true
weight: 260
---
## 节点概述
【**循环运行**】节点是 FastGPT V4.8.11 版本新增的一个重要功能模块。它允许工作流对数组类型的输入数据进行迭代处理，每次处理数组中的一个元素，并自动执行后续节点，直到完成整个数组的处理。
这个节点的设计灵感来自编程语言中的循环结构，但以可视化的方式呈现。
![循环运行节点](/imgs/fastgpt-loop-node.png)
> 在程序中，节点可以理解为一个个 Function 或者接口。可以理解为它就是一个**步骤**。将多个节点一个个拼接起来，即可一步步的去实现最终的 AI 输出。
【**循环运行**】节点本质上也是一个 Function，它的主要职责是自动化地重复执行特定的工作流程。
## 核心特性
1. **数组批量处理**
- 支持输入数组类型数据
- 自动遍历数组元素
- 保持处理顺序
- 支持并行处理 (性能优化)
2. **自动迭代执行**
- 自动触发后续节点
- 支持条件终止
- 支持循环计数
- 维护执行上下文
3. **与其他节点协同**
- 支持与 AI 对话节点配合
- 支持与 HTTP 节点配合
- 支持与内容提取节点配合
- 支持与判断器节点配合
## 应用场景
【**循环运行**】节点的主要作用是通过自动化的方式扩展工作流的处理能力，使 FastGPT 能够更好地处理批量任务和复杂的数据处理流程。特别是在处理大规模数据或需要多轮迭代的场景下，循环运行节点能显著提升工作流的效率和自动化程度。
【**循环运行**】节点特别适合以下场景：
1. **批量数据处理**
- 批量翻译文本
- 批量总结文档
- 批量生成内容
2. **数据流水线处理**
- 对搜索结果逐条分析
- 对知识库检索结果逐条处理
- 对 HTTP 请求返回的数组数据逐项处理
3. **递归或迭代任务**
- 长文本分段处理
- 多轮优化内容
- 链式数据处理
## 使用方法
### 输入参数设置
【**循环运行**】节点需要配置两个核心输入参数：
1. **数组 (必填)**：接收一个数组类型的输入，可以是：
- 字符串数组 (`Array<string>`)
- 数字数组 (`Array<number>`)
- 布尔数组 (`Array<boolean>`)
- 对象数组 (`Array<object>`)
2. **循环体 (必填)**：定义每次循环需要执行的节点流程，包含：
- 循环体开始：标记循环开始的位置。
- 循环体结束：标记循环结束的位置，并可选择输出结果变量。
### 循环体配置
![循环体配置](/imgs/fastgpt-loop-node-config.png)
1. 在循环体内部，可以添加任意类型的节点，如：
- AI 对话节点
- HTTP 请求节点
- 内容提取节点
- 文本加工节点等
2. 循环体结束节点配置：
- 通过下拉菜单选择要输出的变量
- 该变量将作为当前循环的结果被收集
- 所有循环的结果将组成一个新的数组作为最终输出
## 场景示例
### 批量处理数组
假设我们有一个包含多个文本的数组，需要对每个文本进行 AI 处理。这是循环运行节点最基础也最常见的应用场景。
#### 实现步骤
1. 准备输入数组
![准备输入数组](/imgs/fastgpt-loop-node-example-1.png)
使用【代码运行】节点创建测试数组：
```javascript
const texts = [
"这是第一段文本",
"这是第二段文本",
"这是第三段文本"
];
return { textArray: texts };
```
2. 配置循环运行节点
![配置循环运行节点](/imgs/fastgpt-loop-node-example-2.png)
- 数组输入：选择上一步代码运行节点的输出变量 `textArray`。
- 循环体内添加一个【AI 对话】节点，用于处理每个文本。这里我们输入的 prompt 为：`请将这段文本翻译成英文`。
- 再添加一个【指定回复】节点，用于输出翻译后的文本。
- 循环体结束节点选择输出变量为 AI 回复内容。
#### 运行流程
![运行流程](/imgs/fastgpt-loop-node-example-3.png)
1. 【代码运行】节点执行，生成测试数组
2. 【循环运行】节点接收数组，开始遍历
3. 对每个数组元素：
- 【AI 对话】节点处理当前元素
- 【指定回复】节点输出翻译后的文本
- 【循环体结束】节点收集处理结果
4. 完成所有元素处理后，输出结果数组
### 长文本翻译
在处理长文本翻译时，我们经常会遇到以下挑战：
- 文本长度超出 LLM 的 token 限制
- 需要保持翻译风格的一致性
- 需要维护上下文的连贯性
- 翻译质量需要多轮优化
【**循环运行**】节点可以很好地解决这些问题。
#### 实现步骤
1. 文本预处理与分段
![文本预处理与分段](/imgs/fastgpt-loop-node-example-4.png)
使用【代码运行】节点进行文本分段，代码如下：
```javascript
const MAX_HEADING_LENGTH = 7; // 最大标题长度
const MAX_HEADING_CONTENT_LENGTH = 200; // 最大标题内容长度
const MAX_HEADING_UNDERLINE_LENGTH = 200; // 最大标题下划线长度
const MAX_HTML_HEADING_ATTRIBUTES_LENGTH = 100; // 最大HTML标题属性长度
const MAX_LIST_ITEM_LENGTH = 200; // 最大列表项长度
const MAX_NESTED_LIST_ITEMS = 6; // 最大嵌套列表项数
const MAX_LIST_INDENT_SPACES = 7; // 最大列表缩进空格数
const MAX_BLOCKQUOTE_LINE_LENGTH = 200; // 最大块引用行长度
const MAX_BLOCKQUOTE_LINES = 15; // 最大块引用行数
const MAX_CODE_BLOCK_LENGTH = 1500; // 最大代码块长度
const MAX_CODE_LANGUAGE_LENGTH = 20; // 最大代码语言长度
const MAX_INDENTED_CODE_LINES = 20; // 最大缩进代码行数
const MAX_TABLE_CELL_LENGTH = 200; // 最大表格单元格长度
const MAX_TABLE_ROWS = 20; // 最大表格行数
const MAX_HTML_TABLE_LENGTH = 2000; // 最大HTML表格长度
const MIN_HORIZONTAL_RULE_LENGTH = 3; // 最小水平分隔线长度
const MAX_SENTENCE_LENGTH = 400; // 最大句子长度
const MAX_QUOTED_TEXT_LENGTH = 300; // 最大引用文本长度
const MAX_PARENTHETICAL_CONTENT_LENGTH = 200; // 最大括号内容长度
const MAX_NESTED_PARENTHESES = 5; // 最大嵌套括号数
const MAX_MATH_INLINE_LENGTH = 100; // 最大行内数学公式长度
const MAX_MATH_BLOCK_LENGTH = 500; // 最大数学公式块长度
const MAX_PARAGRAPH_LENGTH = 1000; // 最大段落长度
const MAX_STANDALONE_LINE_LENGTH = 800; // 最大独立行长度
const MAX_HTML_TAG_ATTRIBUTES_LENGTH = 100; // 最大HTML标签属性长度
const MAX_HTML_TAG_CONTENT_LENGTH = 1000; // 最大HTML标签内容长度
const LOOKAHEAD_RANGE = 100; // 向前查找句子边界的字符数
const AVOID_AT_START = `[\\s\\]})>,']`; // 避免在开头匹配的字符
const PUNCTUATION = `[.!?…]|\\.{3}|[\\u2026\\u2047-\\u2049]|[\\p{Emoji_Presentation}\\p{Extended_Pictographic}]`; // 标点符号
const QUOTE_END = `(?:'(?=\`)|''(?=\`\`))`; // 引号结束
const SENTENCE_END = `(?:${PUNCTUATION}(?<!${AVOID_AT_START}(?=${PUNCTUATION}))|${QUOTE_END})(?=\\S|$)`; // 句子结束
const SENTENCE_BOUNDARY = `(?:${SENTENCE_END}|(?=[\\r\\n]|$))`; // 句子边界
const LOOKAHEAD_PATTERN = `(?:(?!${SENTENCE_END}).){1,${LOOKAHEAD_RANGE}}${SENTENCE_END}`; // 向前查找句子结束的模式
const NOT_PUNCTUATION_SPACE = `(?!${PUNCTUATION}\\s)`; // 非标点符号空格
const SENTENCE_PATTERN = `${NOT_PUNCTUATION_SPACE}(?:[^\\r\\n]{1,{MAX_LENGTH}}${SENTENCE_BOUNDARY}|[^\\r\\n]{1,{MAX_LENGTH}}(?=${PUNCTUATION}|$ {QUOTE_END})(?:${LOOKAHEAD_PATTERN})?)${AVOID_AT_START}*`; // 句子模式
const regex = new RegExp(
"(" +
// 1. Headings (Setext-style, Markdown, and HTML-style, with length constraints)
`(?:^(?:[#*=-]{1,${MAX_HEADING_LENGTH}}|\\w[^\\r\\n]{0,${MAX_HEADING_CONTENT_LENGTH}}\\r?\\n[-=]{2,${MAX_HEADING_UNDERLINE_LENGTH}}|<h[1-6][^>] {0,${MAX_HTML_HEADING_ATTRIBUTES_LENGTH}}>)[^\\r\\n]{1,${MAX_HEADING_CONTENT_LENGTH}}(?:</h[1-6]>)?(?:\\r?\\n|$))` +
"|" +
// New pattern for citations
`(?:\\[[0-9]+\\][^\\r\\n]{1,${MAX_STANDALONE_LINE_LENGTH}})` +
"|" +
// 2. List items (bulleted, numbered, lettered, or task lists, including nested, up to three levels, with length constraints)
`(?:(?:^|\\r?\\n)[ \\t]{0,3}(?:[-*+•]|\\d{1,3}\\.\\w\\.|\\[[ xX]\\])[ \\t]+${SENTENCE_PATTERN.replace(/{MAX_LENGTH}/g, String (MAX_LIST_ITEM_LENGTH))}` +
`(?:(?:\\r?\\n[ \\t]{2,5}(?:[-*+•]|\\d{1,3}\\.\\w\\.|\\[[ xX]\\])[ \\t]+${SENTENCE_PATTERN.replace(/{MAX_LENGTH}/g, String (MAX_LIST_ITEM_LENGTH))}){0,${MAX_NESTED_LIST_ITEMS}}` +
`(?:\\r?\\n[ \\t]{4,${MAX_LIST_INDENT_SPACES}}(?:[-*+•]|\\d{1,3}\\.\\w\\.|\\[[ xX]\\])[ \\t]+${SENTENCE_PATTERN.replace(/{MAX_LENGTH}/g, String (MAX_LIST_ITEM_LENGTH))}){0,${MAX_NESTED_LIST_ITEMS}})?)` +
"|" +
// 3. Block quotes (including nested quotes and citations, up to three levels, with length constraints)
`(?:(?:^>(?:>|\\s{2,}){0,2}${SENTENCE_PATTERN.replace(/{MAX_LENGTH}/g, String(MAX_BLOCKQUOTE_LINE_LENGTH))}\\r?\\n?){1,$ {MAX_BLOCKQUOTE_LINES}})` +
"|" +
// 4. Code blocks (fenced, indented, or HTML pre/code tags, with length constraints)
`(?:(?:^|\\r?\\n)(?:\`\`\`|~~~)(?:\\w{0,${MAX_CODE_LANGUAGE_LENGTH}})?\\r?\\n[\\s\\S]{0,${MAX_CODE_BLOCK_LENGTH}}?(?:\`\`\`|~~~)\\r?\\n?` +
`|(?:(?:^|\\r?\\n)(?: {4}|\\t)[^\\r\\n]{0,${MAX_LIST_ITEM_LENGTH}}(?:\\r?\\n(?: {4}|\\t)[^\\r\\n]{0,${MAX_LIST_ITEM_LENGTH}}){0,$ {MAX_INDENTED_CODE_LINES}}\\r?\\n?)` +
`|(?:<pre>(?:<code>)?[\\s\\S]{0,${MAX_CODE_BLOCK_LENGTH}}?(?:</code>)?</pre>))` +
"|" +
// 5. Tables (Markdown, grid tables, and HTML tables, with length constraints)
`(?:(?:^|\\r?\\n)(?:\\|[^\\r\\n]{0,${MAX_TABLE_CELL_LENGTH}}\\|(?:\\r?\\n\\|[-:]{1,${MAX_TABLE_CELL_LENGTH}}\\|){0,1}(?:\\r?\\n\\|[^\\r\\n]{0,$ {MAX_TABLE_CELL_LENGTH}}\\|){0,${MAX_TABLE_ROWS}}` +
`|<table>[\\s\\S]{0,${MAX_HTML_TABLE_LENGTH}}?</table>))` +
"|" +
// 6. Horizontal rules (Markdown and HTML hr tag)
`(?:^(?:[-*_]){${MIN_HORIZONTAL_RULE_LENGTH},}\\s*$|<hr\\s*/?>)` +
"|" +
// 10. Standalone lines or phrases (including single-line blocks and HTML elements, with length constraints)
`(?!${AVOID_AT_START})(?:^(?:<[a-zA-Z][^>]{0,${MAX_HTML_TAG_ATTRIBUTES_LENGTH}}>)?${SENTENCE_PATTERN.replace(/{MAX_LENGTH}/g, String (MAX_STANDALONE_LINE_LENGTH))}(?:</[a-zA-Z]+>)?(?:\\r?\\n|$))` +
"|" +
// 7. Sentences or phrases ending with punctuation (including ellipsis and Unicode punctuation)
`(?!${AVOID_AT_START})${SENTENCE_PATTERN.replace(/{MAX_LENGTH}/g, String(MAX_SENTENCE_LENGTH))}` +
"|" +
// 8. Quoted text, parenthetical phrases, or bracketed content (with length constraints)
"(?:" +
`(?<!\\w)\"\"\"[^\"]{0,${MAX_QUOTED_TEXT_LENGTH}}\"\"\"(?!\\w)` +
`|(?<!\\w)(?:['\"\`'"])[^\\r\\n]{0,${MAX_QUOTED_TEXT_LENGTH}}\\1(?!\\w)` +
`|(?<!\\w)\`[^\\r\\n]{0,${MAX_QUOTED_TEXT_LENGTH}}'(?!\\w)` +
`|(?<!\\w)\`\`[^\\r\\n]{0,${MAX_QUOTED_TEXT_LENGTH}}''(?!\\w)` +
`|\\([^\\r\\n()]{0,${MAX_PARENTHETICAL_CONTENT_LENGTH}}(?:\\([^\\r\\n()]{0,${MAX_PARENTHETICAL_CONTENT_LENGTH}}\\)[^\\r\\n()]{0,$ {MAX_PARENTHETICAL_CONTENT_LENGTH}}){0,${MAX_NESTED_PARENTHESES}}\\)` +
`|\\[[^\\r\\n\\[\\]]{0,${MAX_PARENTHETICAL_CONTENT_LENGTH}}(?:\\[[^\\r\\n\\[\\]]{0,${MAX_PARENTHETICAL_CONTENT_LENGTH}}\\][^\\r\\n\\[\\]]{0,$ {MAX_PARENTHETICAL_CONTENT_LENGTH}}){0,${MAX_NESTED_PARENTHESES}}\\]` +
`|\\$[^\\r\\n$]{0,${MAX_MATH_INLINE_LENGTH}}\\$` +
`|\`[^\`\\r\\n]{0,${MAX_MATH_INLINE_LENGTH}}\`` +
")" +
"|" +
// 9. Paragraphs (with length constraints)
`(?!${AVOID_AT_START})(?:(?:^|\\r?\\n\\r?\\n)(?:<p>)?${SENTENCE_PATTERN.replace(/{MAX_LENGTH}/g, String(MAX_PARAGRAPH_LENGTH))}(?:</p>)?(?=\\r? \\n\\r?\\n|$))` +
"|" +
// 11. HTML-like tags and their content (including self-closing tags and attributes, with length constraints)
`(?:<[a-zA-Z][^>]{0,${MAX_HTML_TAG_ATTRIBUTES_LENGTH}}(?:>[\\s\\S]{0,${MAX_HTML_TAG_CONTENT_LENGTH}}?</[a-zA-Z]+>|\\s*/>))` +
"|" +
// 12. LaTeX-style math expressions (inline and block, with length constraints)
`(?:(?:\\$\\$[\\s\\S]{0,${MAX_MATH_BLOCK_LENGTH}}?\\$\\$)|(?:\\$[^\\$\\r\\n]{0,${MAX_MATH_INLINE_LENGTH}}\\$))` +
"|" +
// 14. Fallback for any remaining content (with length constraints)
`(?!${AVOID_AT_START})${SENTENCE_PATTERN.replace(/{MAX_LENGTH}/g, String(MAX_STANDALONE_LINE_LENGTH))}` +
")",
"gmu"
);
function main({text}){
const chunks = [];
let currentChunk = '';
const tokens = countToken(text)
const matches = text.match(regex);
if (matches) {
matches.forEach((match) => {
if (currentChunk.length + match.length <= 1000) {
currentChunk += match;
} else {
if (currentChunk) {
chunks.push(currentChunk);
}
currentChunk = match;
}
});
if (currentChunk) {
chunks.push(currentChunk);
}
}
return {chunks, tokens};
}
```
这里我们用到了 [Jina AI 开源的一个强大的正则表达式](https://x.com/JinaAI_/status/1823756993108304135)，它能利用所有可能的边界线索和启发式方法来精确切分文本。
2. 配置循环运行节点
![配置循环运行节点](/imgs/fastgpt-loop-node-example-5.png)
- 数组输入：选择上一步代码运行节点的输出变量 `chunks`。
- 循环体内添加一个【代码运行】节点，对源文本进行格式化。
- 添加一个【搜索词库】节点，将专有名词的词库作为知识库，在翻译前进行搜索。
- 添加一个【AI 对话】节点，使用 CoT 思维链，让 LLM 显式地、系统地生成推理链条，展示翻译的完整思考过程。
- 添加一个【代码运行】节点，将【AI 对话】节点最后一轮的翻译结果提取出来。
- 添加一个【指定回复】节点，输出翻译后的文本。
- 循环体结束节点选择输出变量为【取出翻译文本】的输出变量 `result`。

78
docSite/content/zh-cn/docs/guide/workbench/workflow/question_classify.md Normal file
View File

@@ -0,0 +1,78 @@
---
title: "问题分类"
description: "FastGPT 问题分类模块介绍"
icon: "quiz"
draft: false
toc: true
weight: 238
---
## 特点
- 可重复添加
- 有外部输入
- 需要手动配置
- 触发执行
- function_call 模块
![](/imgs/cq1.png)
## 功能
可以将用户的问题进行分类，分类后执行不同操作。在一些较模糊的场景中，分类效果不是很明显。
## 参数说明
### 系统提示词
被放置在对话最前面，可用于补充说明分类内容的定义。例如问题会被分为：
1. 打招呼
2. Laf 常见问题
3. 其他问题
由于 Laf 不是一个明确的东西，需要给它一个定义，此时提示词里可以填入 Laf 的定义：
```
Laf 是云开发平台，可以快速的开发应用
Laf 是一个开源的 BaaS 开发平台（Backend as a Service)
Laf 是一个开箱即用的 serverless 开发平台
Laf 是一个集「函数计算」、「数据库」、「对象存储」等于一身的一站式开发平台
Laf 可以是开源版的腾讯云开发、开源版的 Google Firebase、开源版的 UniCloud
```
### 聊天记录
适当增加一些聊天记录，可以联系上下文进行分类。
### 用户问题
用户输入的内容。
### 分类内容
依然以这 3 个分类为例，可以看到最终组成的 Function。其中返回值由系统随机生成，不需要关心。
1. 打招呼
2. Laf 常见问题
3. 其他问题
```js
const agentFunction = {
name: agentFunName,
description: '判断用户问题的类型属于哪方面，返回对应的枚举字段',
parameters: {
type: 'object',
properties: {
type: {
type: 'string',
description: `打招呼，返回: abc；Laf 常见问题，返回：vvv；其他问题，返回：aaa`
enum: ["abc","vvv","aaa"]
}
},
required: ['type']
}
};
```
上面的 Function 必然会返回 `type = abc，vvv，aaa` 其中一个值，从而实现分类判断。

26
docSite/content/zh-cn/docs/guide/workbench/workflow/reply.md Normal file
View File

@@ -0,0 +1,26 @@
---
title: "指定回复"
description: "FastGPT 指定回复模块介绍"
icon: "reply"
draft: false
toc: true
weight: 248
---
## 特点
- 可重复添加（防止复杂编排时线太乱，重复添加可以更美观）
- 可手动输入
- 可外部输入
- 会输出结果给客户端
指定回复模块通常用户特殊状态回复，回复内容有两种：
1. 一种是手动输入固定内容。
2. 一种是通过变量引用。
{{< figure
src="/imgs/specialreply.png"
alt=""
caption="图 1"
>}}

87
docSite/content/zh-cn/docs/guide/workbench/workflow/sandbox.md Normal file
View File

@@ -0,0 +1,87 @@
---
title: "代码运行"
description: "FastGPT 代码运行节点介绍"
icon: "input"
draft: false
toc: true
weight: 258
---
![alt text](/imgs/image.png)
## 功能
可用于执行一段简单的 js 代码，用于进行一些复杂的数据处理。代码运行在沙盒中，无法进行网络请求、dom和异步操作。如需复杂操作，需外挂 HTTP 实现。
**注意事项**
- 私有化用户需要部署`fastgpt-sandbox` 镜像，并配置`SANDBOX_URL`环境变量。
- 沙盒最大运行 10s， 32M 内存限制。
## 变量输入
可在自定义输入中添加代码运行需要的变量，在代码的 main 函数中，可解构出相同名字的变量。
如上图，自定义输入中有 data1 和 data2 两个变量，main 函数中可以解构出相同名字的变量。
## 结果输出
务必返回一个 object 对象
自定义输出中，可以添加变量名来获取 object 对应 key 下的值。例如上图中，返回了一个对象：
```json
{
result: data1,
data2
}
```
他有 2 个 key：result和 data2(js 缩写，key=data2，value=data2)。这时候自定义输出中就可以添加 2 个变量来获取对应 key 下的 value。
## 内置 JS 全局变量
### delay 延迟
延迟 1 秒后返回
```js
async function main({data1, data2}){
await delay(1000)
return {
result: "111"
}
}
```
### countToken 统计 token
```js
function main({input}){
return {
result: countToken(input)
}
}
```
![alt text](/imgs/image-1.png)
### strToBase64 字符串转 base64(4.8.11 版本新增)
可用于将 SVG 图片转换为 base64 格式展示。
```js
function main({input}){
return {
/*
param1: input 需要转换的字符串
param2: base64 prefix 前缀
*/
result: strToBase64(input,'data:image/svg+xml;base64,')
}
}
```
![alt text](/imgs/image-2.png)

32
docSite/content/zh-cn/docs/guide/workbench/workflow/text_editor.md Normal file
View File

@@ -0,0 +1,32 @@
---
title: "文本拼接"
description: "FastGPT 文本加工模块介绍"
icon: "input"
draft: false
toc: true
weight: 246
---
## 特点
- 可重复添加
- 有外部输入
- 触发执行
- 手动配置
![](/imgs/string.png)
## 功能
对输入文本进行固定加工处理，入参仅支持字符串和数字格式，入参以变量形式使用在文本编辑区域。
根据上方示例图的处理方式，对任何输入都会在前面拼接“用户的问题是:”。
## 作用
给任意模块输入自定格式文本，或处理 AI 模块系统提示词。
## 示例
- [接入谷歌搜索](/docs/use-cases/app-cases/google_search/)

31
docSite/content/zh-cn/docs/guide/workbench/workflow/tfswitch.md Normal file
View File

@@ -0,0 +1,31 @@
---
title: "判断器"
description: "FastGPT 判断器模块介绍"
icon: "input"
draft: false
toc: true
weight: 254
---
## 特点
- 可重复添加
- 有外部输入
- 触发执行
![](/imgs/judgement1.png)
## 功能
对任意变量进行`IF`判断，若满足条件则执行`IF`分支，不满足条件执行`ELSE`分支。
上述例子中若「知识库引用」变量的长度等于0则执行`IF`分支，否则执行`ELSE`分支。
支持增加更多的判断条件和分支，同编程语言中的`IF`语句逻辑相同。
## 作用
适用场景有：让大模型做判断后输出固定内容，根据大模型回复内容判断是否触发后续模块。

71
docSite/content/zh-cn/docs/guide/workbench/workflow/tool.md Normal file
View File

@@ -0,0 +1,71 @@
---
title: "工具调用&终止"
description: "FastGPT 工具调用模块介绍"
icon: "build"
draft: false
toc: true
weight: 236
---
![](/imgs/flow-tool1.png)
## 什么是工具
工具可以是一个系统模块，例如：AI对话、知识库搜索、HTTP模块等。也可以是一个插件。
工具调用可以让 LLM 更动态的决策流程，而不都是固定的流程。（当然，缺点就是费tokens）
## 工具的组成
1. 工具介绍。通常是模块的介绍或插件的介绍，这个介绍会告诉LLM，这个工具的作用是什么。
2. 工具参数。对于系统模块来说，工具参数已经是固定的，无需额外配置。对于插件来说，工具参数是一个可配置项。
## 工具是如何运行的
要了解工具如何运行的，首先需要知道它的运行条件。
1. 需要工具的介绍（或者叫描述）。这个介绍会告诉LLM，这个工具的作用是什么，LLM会根据上下文语义，决定是否需要调用这个工具。
2. 工具的参数。有些工具调用时，可能需要一些特殊的参数。参数中有2个关键的值：`参数介绍`和`是否必须`。
结合工具的介绍、参数介绍和参数是否必须，LLM会决定是否调用这个工具。有以下几种情况：
1. 无参数的工具：直接根据工具介绍，决定是否需要执行。例如：获取当前时间。
2. 有参数的工具：
1. 无必须的参数：尽管上下文中，没有适合的参数，也可以调用该工具。但有时候，LLM会自己伪造一个参数。
2. 有必须的参数：如果没有适合的参数，LLM可能不会调用该工具。可以通过提示词，引导用户提供参数。
在支持`函数调用`的模型中，可以一次性调用多个工具，调用逻辑如下：
![](/imgs/flow-tool2.png)
## 怎么用
| 有工具调用模块 | 无工具调用模块 |
| --- | --- |
| ![](/imgs/flow-tool3.png) | ![](/imgs/flow-tool4.png) |
高级编排中，托动工具调用的连接点，可用的工具头部会出现一个菱形，可以将它与工具调用模块底部的菱形相连接。
被连接的工具，会自动分离工具输入与普通的输入，并且可以编辑`描述`，可以通过调整介绍，使得该工具调用时机更加精确。对于一些内置的节点，务必修改`描述`才能让模型正常调用。
关于工具调用，如何调试仍然是一个玄学，所以建议，不要一次性增加太多工具，选择少量工具调优后再进一步尝试。
## 组合节点
### 工具调用终止
工具调用默认会把子流程运行的结果作为`工具结果`，返回给模型进行回答。有时候，你可能不希望模型做回答，你可以给对应子流程的末尾增加上一个`工具调用终止`节点，这样，子流程的结果就不会被返回给模型。
![alt text](/imgs/image-3.png)
### 自定义工具变量
工具调用的子流程运行，有时候会依赖`AI`生成的一些变量，为了简化交互流程，我们给系统内置的节点都指定了`工具变量`。然而，有些时候，你需要的变量不仅是目标流程的`首个节点`的变量，而是需要更复杂的变量，此时你可以使用`自定义工具变量`。它允许你完全自定义该`工具流程`的变量。
![alt text](/imgs/image-4.png)
## 相关示例
- [谷歌搜索](/docs/use-cases/app-cases/google_search/)
- [发送飞书webhook](/docs/use-cases/app-cases/feishu_webhook/)

32
docSite/content/zh-cn/docs/guide/workbench/workflow/user-selection.md Normal file
View File

@@ -0,0 +1,32 @@
---
title: "用户选择"
description: "FastGPT 用户选择模块的使用说明"
icon: "user_check"
draft: false
toc: true
weight: 242
---
## 特点
- 用户交互
- 可重复添加
- 触发执行
![](/imgs/user-selection1.png)
## 功能
「用户选择」节点属于用户交互节点，当触发这个节点时，对话会进入“交互”状态，会记录工作流的状态，等用户完成交互后，继续向下执行工作流
![](/imgs/user-selection2.png)
比如上图中的例子，当触发用户选择节点时，对话框隐藏，对话进入“交互状态”
![](/imgs/user-selection3.png)
当用户做出选择时，节点会判断用户的选择，执行“是”的分支
## 作用
基础的用法为提出需要用户做抉择的问题，然后根据用户的反馈设计不同的工作流流程

38
docSite/content/zh-cn/docs/guide/workbench/workflow/variable_update.md Normal file
View File

@@ -0,0 +1,38 @@
---
title: "变量更新"
description: "FastGPT 变量更新模块介绍"
icon: "variable_update"
draft: false
toc: true
weight: 256
---
## 特点
- 可重复添加
- 有外部输入
- 触发执行
- 手动配置
![](/imgs/variable_update1.png)
## 功能
- 更新指定节点的输出值
![](/imgs/variable_update2.png)
![](/imgs/variable_update3.png)
- 更新全局变量
![](/imgs/variable_update4.png)
![](/imgs/variable_update5.png)
## 作用
最基础的使用场景为
- 给一个「自定义变量」类型的全局变量赋值，从而实现全局变量无需用户输入
- 更新「变量更新」节点前的工作流节点输出，在后续使用中，使用的节点输出值为新的输出