FastGPT/one-api.md at 086ea83facfb8425ccd88b63b952892a16f5400d

ChatGPT/FastGPT

Fork 0

mirror of https://github.com/labring/FastGPT.git synced 2025-07-22 20:37:48 +00:00

Files

archer 086ea83fac docs

2023-09-03 19:06:12 +08:00

3.8 KiB

Raw Blame History

title, description, icon, draft, toc, weight

title	description	icon	draft	toc	weight
部署 one-api，实现多模型支持	通过接入 one-api 来实现对各种大模型的支持	Api	false	true	730

默认情况下，FastGPT 只配置了 GPT 的 3 个模型，如果你需要接入其他模型，需要进行一些额外配置。

one-api 是一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。

FastGPT 可以通过接入 one-api 来实现对各种大模型的支持。部署方法也很简单。

MySQL 版本

MySQL 版本支持多实例，高并发。

直接点击以下按钮即可一键部署 👇

部署完后会跳转「应用管理」，数据库在另一个应用「数据库」中。需要等待 1~3 分钟数据库运行后才能访问成功。

SqlLite 版本

SqlLite 版本不支持多实例，适合个人小流量使用，但是价格非常便宜。

1. 点击打开 Sealos 公有云

2. 打开 AppLaunchpad(应用管理) 工具

3. 点击创建新应用

4. 填写对应参数

镜像：ghcr.io/songquanpeng/one-api:latest

打开外网访问开关后，Sealos 会自动分配一个可访问的地址，不需要自己配置。

填写完参数后，点击右上角部署即可。环境变量：

SESSION_SECRET=SESSION_SECRET
CHANNEL_TEST_FREQUENCY=30
POLLING_INTERVAL=60
BATCH_UPDATE_ENABLED=true
BATCH_UPDATE_INTERVAL=60

使用步骤

1. 登录 one-api

打开【one-api 应用详情】，找到访问地址：

2. 创建渠道和令牌

在 one-api 中添加对应渠道，直接点击【添加基础模型】，不要遗漏了向量模型

创建一个令牌

3. 修改 FastGPT 的环境变量

有了 one-api 令牌后，FastGPT 可以通过修改 baseurl 和 key 去请求到 one-api，再由 one-api 去请求不同的模型。修改下面两个环境变量：

# 下面的地址是 Sealos 提供的，务必写上 v1， 两个项目都在 sealos 部署时候，https://xxxx.cloud.sealos.io 可以改用内网地址
OPENAI_BASE_URL=https://xxxx.cloud.sealos.io/v1
# 下面的 key 是由 one-api 提供的令牌
CHAT_API_KEY=sk-xxxxxx

接入其他模型

以添加文心一言为例:

1. One-API 添加对应模型渠道

2. 修改 FastGPT 配置文件

可以在 /client/src/data/config.json 里找到配置文件（本地开发需要复制成 config.local.json），配置文件中有一项是对话模型配置：

"ChatModels": [
    ...
    {
      "model": "ERNIE-Bot", // 这里的模型需要对应 OneAPI 的模型
      "name": "文心一言", // 对外展示的名称
      "contextMaxToken": 4000, // 最大长下文 token，无论什么模型都按 GPT35 的计算。GPT 外的模型需要自行大致计算下这个值。可以调用官方接口去比对 Token 的倍率，然后在这里粗略计算。
      // 例如：文心一言的中英文 token 基本是 1:1，而 GPT 的中文 Token 是 2:1，如果文心一言官方最大 Token 是 4000，那么这里就可以填 8000，保险点就填 7000.
      "quoteMaxToken": 2000, // 引用知识库的最大 Token
      "maxTemperature": 1, // 最大温度
      "price": 0, // 1个token 价格 => 1.5 / 100000 * 1000 = 0.015元/1k token
      "defaultSystem": "" // 默认的系统提示词
    }
    ...
],

添加完后，重启 FastGPT 即可在选择文心一言模型进行对话。

3.8 KiB Raw Blame History Unescape Escape