This commit is contained in:
archer
2023-08-31 18:43:10 +08:00
parent c1f4785392
commit 4f0f950dd4
10 changed files with 60 additions and 99 deletions

View File

@@ -7,6 +7,8 @@ toc: true
weight: 730
---
默认情况下FastGPT 只配置了 GPT 的 3 个模型,如果你需要接入其他模型,需要进行一些额外配置。
[one-api](https://github.com/songquanpeng/one-api) 是一个 OpenAI 接口管理 & 分发系统,可以通过标准的 OpenAI API 格式访问所有的大模型,开箱即用。
FastGPT 可以通过接入 one-api 来实现对各种大模型的支持。部署方法也很简单。
@@ -45,7 +47,7 @@ SqlLite 版本不支持多实例,适合个人小流量使用,但是价格非
## 使用步骤
**1. 登录 one-api**
### 1. 登录 one-api
打开 【one-api 应用详情】,找到访问地址:
![step4](/imgs/oneapi-step4.png)
@@ -53,7 +55,7 @@ SqlLite 版本不支持多实例,适合个人小流量使用,但是价格非
登录 one-api
![step5](/imgs/oneapi-step5.png)
**2. 创建渠道和令牌**
### 2. 创建渠道和令牌
在 one-api 中添加对应渠道,直接点击 【添加基础模型】,不要遗漏了向量模型
![step6](/imgs/oneapi-step6.png)
@@ -61,7 +63,7 @@ SqlLite 版本不支持多实例,适合个人小流量使用,但是价格非
创建一个令牌
![step7](/imgs/oneapi-step7.png)
**3. 修改 FastGPT 的环境变量**
### 3. 修改 FastGPT 的环境变量
有了 one-api 令牌后FastGPT 可以通过修改 baseurl 和 key 去请求到 one-api再由 one-api 去请求不同的模型。修改下面两个环境变量:
@@ -71,3 +73,34 @@ OPENAI_BASE_URL=https://xxxx.cloud.sealos.io/v1
# 下面的 key 是由 one-api 提供的令牌
CHAT_API_KEY=sk-xxxxxx
```
## 接入其他模型
**以添加文心一言为例:**
### 1. One-API 添加对应模型渠道
![](/imgs/oneapi-demo1.png)
### 2. 修改 FastGPT 配置文件
可以在 `/client/src/data/config.json` 里找到配置文件(本地开发需要复制成 config.local.json配置文件中有一项是对话模型配置
```json
"ChatModels": [
...
{
"model": "ERNIE-Bot", // 这里的模型需要对应 OneAPI 的模型
"name": "文心一言", // 对外展示的名称
"contextMaxToken": 4000, // 最大长下文 token无论什么模型都按 GPT35 的计算。GPT 外的模型需要自行大致计算下这个值。可以调用官方接口去比对 Token 的倍率,然后在这里粗略计算。
// 例如:文心一言的中英文 token 基本是 1:1而 GPT 的中文 Token 是 2:1如果文心一言官方最大 Token 是 4000那么这里就可以填 8000保险点就填 7000.
"quoteMaxToken": 2000, // 引用知识库的最大 Token
"maxTemperature": 1, // 最大温度
"price": 0, // 1个token 价格 => 1.5 / 100000 * 1000 = 0.015元/1k token
"defaultSystem": "" // 默认的系统提示词
}
...
],
```
添加完后,重启 FastGPT 即可在选择文心一言模型进行对话。