chat model config (#158)

* chat model config

* fix: i18n next
This commit is contained in:
Archer
2023-08-09 11:08:39 +08:00
committed by GitHub
parent da4b14fbf8
commit b6f9f77ed4
12 changed files with 269 additions and 270 deletions

View File

@@ -8,6 +8,9 @@
"sidebar.docSidebar.category.Proxy": {
"message": "Proxy 方案"
},
"sidebar.docSidebar.category.Data Config": {
"message": "Config 配置"
},
"sidebar.docSidebar.category.Deploy": {
"message": "部署"
},

View File

@@ -0,0 +1,71 @@
---
sidebar_position: 2
---
# 其他对话模型配置
默认情况下FastGPT 只配置了 GPT 的 3 个模型,如果你需要接入其他模型,需要进行一些额外配置。
## 一、安装 OneAPI
首先你需要部署一个 [OneAPI](/docs/develop/oneapi),并添加对应的【渠道】
![](./imgs/chatmodels1.png)
## 二、添加 FastGPT 配置
可以在 /client/src/data/config.json 里找到配置文件(本地开发需要复制成 config.local.json配置文件中有一项是对话模型配置
```json
"ChatModels": [
{
"model": "gpt-3.5-turbo", // 这里的模型需要对应 OneAPI 的模型
"name": "FastAI-4k", // 对外展示的名称
"contextMaxToken": 4000, // 最大长下文 token无论什么模型都按 GPT35 的计算。GPT 外的模型需要自行大致计算下这个值。可以调用官方接口去比对 Token 的倍率,然后在这里粗略计算。
// 例如:文心一言的中英文 token 基本是 1:1而 GPT 的中文 Token 是 2:1如果文心一言官方最大 Token 是 4000那么这里就可以填 8000保险点就填 7000.
"quoteMaxToken": 2000, // 引用知识库的最大 Token
"maxTemperature": 1.2, // 最大温度
"price": 1.5, // 1个token 价格 => 1.5 / 100000 * 1000 = 0.015元/1k token
"defaultSystem": "" // 默认的系统提示词
},
{
"model": "gpt-3.5-turbo-16k",
"name": "FastAI-16k",
"contextMaxToken": 16000,
"quoteMaxToken": 8000,
"maxTemperature": 1.2,
"price": 3,
"defaultSystem": ""
},
{
"model": "gpt-4",
"name": "FastAI-Plus",
"contextMaxToken": 8000,
"quoteMaxToken": 4000,
"maxTemperature": 1.2,
"price": 45,
"defaultSystem": ""
}
],
```
### 添加新模型
以添加文心一言为例:
```json
"ChatModels": [
...
{
"model": "ERNIE-Bot",
"name": "文心一言",
"contextMaxToken": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1,
"price": 1.2
}
...
]
```
添加完后,重启应用即可在选择文心一言模型进行对话。

Binary file not shown.

After

Width:  |  Height:  |  Size: 176 KiB

View File

@@ -0,0 +1,39 @@
---
sidebar_position: 1
---
# 快速介绍
由于环境变量不利于配置复杂的内容,新版 FastGPT 采用了 ConfigMap 的形式挂载配置文件,你可以在 client/data/config.json 看到默认的配置文件。
开发环境下,你需要复制一份 config.json 成 config.local.json 文件才会生效。
这个配置文件中包含了前端页面定制、系统级参数、AI 对话的模型等……
## 基础字段粗略说明
这里会介绍一些基础的配置字段。
```json
// 这个配置会控制前端的一些样式
"FeConfig": {
"show_emptyChat": true, // 对话页面,空内容时,是否展示介绍页
"show_register": false, // 是否展示注册按键(包括忘记密码,注册账号和三方登录)
"show_appStore": false, // 是否展示应用市场(不过目前权限还没做好,放开也没用)
"show_userDetail": false, // 是否展示用户详情账号余额、OpenAI 绑定)
"show_git": true, // 是否展示 Git
"systemTitle": "FastAI", // 系统的 title
"authorText": "Made by FastAI Team.", // 签名
"gitLoginKey": "" // Git 登录凭证
}
```
```json
// 这个配置文件是系统级参数
"SystemParams": {
"gitLoginSecret": "", // Git 登录凭证
"vectorMaxProcess": 15, // 向量生成最大进程,结合数据库性能和 key 来设置
"qaMaxProcess": 15, // QA 生成最大进程,结合数据库性能和 key 来设置
"pgIvfflatProbe": 20 // pg vector 搜索探针。没有设置索引前可忽略,通常 50w 组以上才需要设置。
},
```