mirror of
https://github.com/labring/FastGPT.git
synced 2025-07-21 03:35:36 +00:00
perf: ai param config (#3451)
* perf: ai param config * pacakge import * perf: ai config doc
This commit is contained in:
@@ -11,11 +11,14 @@ weight: 104
|
||||
|
||||
| | | |
|
||||
| --- | --- | --- |
|
||||
|  |  |  |
|
||||
|  |  |  |
|
||||
|
||||
## 返回AI内容(高级编排特有)
|
||||
## 流响应(高级编排 AI 对话 特有)
|
||||
|
||||
这是一个开关,打开的时候,当 AI 对话模块运行时,会将其输出的内容返回到浏览器(API响应);如果关闭,AI 输出的内容不会返回到浏览器,但是生成的内容仍可以通过【AI回复】进行输出。你可以将【AI回复】连接到其他模块中。
|
||||
旧版名字叫做:返回 AI 内容;新版改名:流响应。
|
||||
|
||||
这是一个开关,打开的时候,当 AI 对话模块运行时,会将其输出的内容返回到浏览器(API响应);
|
||||
如果关闭,会强制使用非流模式调用模型,并且 AI 输出的内容不会返回到浏览器,但是生成的内容仍可以通过【AI回复】进行输出。你可以将【AI回复】连接到其他模块中进行二次使用。
|
||||
|
||||
### 最大上下文
|
||||
|
||||
@@ -33,13 +36,25 @@ weight: 104
|
||||
|
||||
最大回复 token 数量。注意,是回复的Tokens!不是上下文 tokens。
|
||||
|
||||
通常,回复上限=min(模型允许的最大回复上限, 最大上下文-已用上下文)
|
||||
|
||||
所以,一般配置模型时,不会把最大上下文配置成模型实际最大上下文,而是预留预定空间给回答,例如 128k 模型,可以配置 max_context=115000
|
||||
|
||||
### 系统提示词
|
||||
|
||||
被放置在上下文数组的最前面,role 为 system,用于引导模型。
|
||||
|
||||
### 最大对话轮数(仅简易模式)
|
||||
|
||||
可以配置模型支持的最大对话轮数,如果模型的超出上下文,系统会自动截断,尽可能保证不超模型上下文。
|
||||
|
||||
所以尽管配置 30 轮对话,实际运行时候,不一定会达到 30 轮。
|
||||
|
||||
## 引用模板 & 引用提示词
|
||||
|
||||
这两个参数与知识库问答场景相关,可以控制知识库相关的提示词。
|
||||
进行知识库搜索后,你可以自定义组织检索结果构成的提示词,这个配置,仅工作流中 AI 对话节点可用。并且,只会在有引用知识库内容时才会生效。
|
||||
|
||||

|
||||
|
||||
### AI 对话消息组成
|
||||
|
||||
|
Reference in New Issue
Block a user