perf: ai param config (#3451)

* perf: ai param config

* pacakge import

* perf: ai config doc
This commit is contained in:
Archer
2024-12-23 10:31:15 +08:00
committed by GitHub
parent ae149069bf
commit 58fbf78c6e
19 changed files with 287 additions and 172 deletions

View File

@@ -11,11 +11,14 @@ weight: 104
| | | |
| --- | --- | --- |
| ![](/imgs/aichat0.png) | ![](/imgs/aichat02.png) | ![](/imgs/aichat2.png) |
| ![alt text](/imgs/image-51.png) | ![alt text](/imgs/image-52.png) | ![alt text](/imgs/image-53.png) |
## 返回AI内容高级编排特有)
## 流响应(高级编排 AI 对话 特有)
这是一个开关,打开的时候,当 AI 对话模块运行时会将其输出的内容返回到浏览器API响应如果关闭AI 输出的内容不会返回到浏览器但是生成的内容仍可以通过【AI回复】进行输出。你可以将【AI回复】连接到其他模块中
旧版名字叫做:返回 AI 内容;新版改名:流响应
这是一个开关,打开的时候,当 AI 对话模块运行时会将其输出的内容返回到浏览器API响应
如果关闭,会强制使用非流模式调用模型,并且 AI 输出的内容不会返回到浏览器但是生成的内容仍可以通过【AI回复】进行输出。你可以将【AI回复】连接到其他模块中进行二次使用。
### 最大上下文
@@ -33,13 +36,25 @@ weight: 104
最大回复 token 数量。注意是回复的Tokens不是上下文 tokens。
通常,回复上限=min(模型允许的最大回复上限, 最大上下文-已用上下文)
所以,一般配置模型时,不会把最大上下文配置成模型实际最大上下文,而是预留预定空间给回答,例如 128k 模型,可以配置 max_context=115000
### 系统提示词
被放置在上下文数组的最前面role 为 system用于引导模型。
### 最大对话轮数(仅简易模式)
可以配置模型支持的最大对话轮数,如果模型的超出上下文,系统会自动截断,尽可能保证不超模型上下文。
所以尽管配置 30 轮对话,实际运行时候,不一定会达到 30 轮。
## 引用模板 & 引用提示词
这两个参数与知识库问答场景相关,可以控制知识库相关的提示词
进行知识库搜索后,你可以自定义组织检索结果构成的提示词,这个配置,仅工作流中 AI 对话节点可用。并且,只会在有引用知识库内容时才会生效
![alt text](/imgs/image-54.png)
### AI 对话消息组成