ai proxy docker compose & doc (#3947)

2025-07-21 03:35:36 +00:00 · 2025-03-05 10:15:30 +08:00
parent e98d6f1d30
commit e1aa068858
20 changed files with 247 additions and 143 deletions
--- a/docSite/content/zh-cn/docs/development/docker.md
+++ b/docSite/content/zh-cn/docs/development/docker.md
@@ -195,15 +195,7 @@ sleep 10
 docker restart oneapi
 ```

-### 4. 打开 OneAPI 添加模型
-
-可以通过`ip:3001`访问OneAPI，默认账号为`root`密码为`123456`。
-
-在OneApi中添加合适的AI模型渠道。[点击查看相关教程](/docs/development/modelconfig/one-api/)
-
-只需要添加模型即可，模板已经配置好了oneapi的连接地址和令牌，无需变更。
-
-### 5. 访问 FastGPT
+### 4. 访问 FastGPT

 目前可以通过 `ip:3000` 直接访问(注意防火墙)。登录用户名为 `root`，密码为`docker-compose.yml`环境变量里设置的 `DEFAULT_ROOT_PSW`。

@@ -211,9 +203,11 @@ docker restart oneapi

 首次运行，会自动初始化 root 用户，密码为 `1234`（与环境变量中的`DEFAULT_ROOT_PSW`一致），日志里会提示一次`MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;`可忽略。

-### 6. 配置模型
+### 5. 配置模型

-登录FastGPT后，进入模型配置页面，务必先配置至少一个语言模型和一个向量模型，否则系统无法正常使用。
+登录FastGPT后，进入“模型提供商”页面，首先配置模型渠道，[点击查看相关教程](/docs/development/modelconfig/ai-proxy)
+
+然后配置具体模型，务必先配置至少一个语言模型和一个向量模型，否则系统无法正常使用。

 [点击查看模型配置教程](/docs/development/modelConfig/intro/)

--- a/docSite/content/zh-cn/docs/development/modelConfig/ai-proxy.md
+++ b/docSite/content/zh-cn/docs/development/modelConfig/ai-proxy.md
@@ -0,0 +1,103 @@
+---
+title: '通过 AI Proxy 接入模型'
+description: '通过 AI Proxy 接入模型'
+icon: 'api'
+draft: false
+toc: true
+weight: 744
+---
+
+从 FastGPT 4.8.23 版本开始，引入 AI Proxy 来进一步方便模型的配置。
+
+AI Proxy 与 One API 类似，也是作为一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
+
+## 部署
+
+### Docker 版本
+
+`docker-compose.yml` 文件已加入了 AI Proxy 配置，可直接使用。
+
+## 基础使用
+
+### 1. 创建渠道
+
+如果 FastGPT 的环境变量中，设置了 AIPROXY_API_ENDPOINT 的值，那么在“模型提供商”的配置页面，会多出两个 tab，可以直接在 FastGPT 平台上配置模型渠道，以及查看模型实际调用日志。
+
+![aiproxy1](/imgs/aiproxy-1.png)
+
+点击右上角的“新增渠道”，即可进入渠道配置页面
+
+![aiproxy2](/imgs/aiproxy-2.png)
+
+以阿里云的模型为例，进行如下配置
+
+![aiproxy3](/imgs/aiproxy-3.png)
+
+1. 渠道名：展示在外部的渠道名称，仅作标识;
+2. 厂商：模型对应的厂商，不同厂商对应不同的默认地址和 API 密钥格式;
+3. 模型：当前渠道具体可以使用的模型，系统内置了主流的一些模型，如果下拉框中没有想要的选项，可以点击“新增模型”，[增加自定义模型](/docs/development/modelconfig/intro/#新增自定义模型);
+4. 模型映射：将 FastGPT 请求的模型，映射到具体提供的模型上；
+5. 代理地址：具体请求的地址，系统给每个主流渠道配置了默认的地址，如果无需改动则不用填
+6. API 密钥：从模型厂商处获取的 API 凭证
+
+最后点击“新增”，就能在“模型渠道”下看到刚刚配置的渠道
+
+![aiproxy4](/imgs/aiproxy-4.png)
+
+### 2. 渠道测试
+
+然后可以对渠道进行测试，确保配置的模型有效
+
+![aiproxy5](/imgs/aiproxy-5.png)
+
+点击“模型测试”，可以看到配置的模型列表，点击“开始测试”
+
+![aiproxy6](/imgs/aiproxy-6.png)
+
+等待模型测试完成后，会输出每个模型的测试结果以及请求时长
+
+![aiproxy7](/imgs/aiproxy-7.png)
+
+### 3. 启用模型
+
+最后在“模型配置”中，可以选择启用对应的模型，这样就能在平台中使用了
+
+![aiproxy8](/imgs/aiproxy-8.png)
+
+
+## 渠道设置
+
+### 优先级
+
+在 FastGPT 中，可以给渠道设置优先级，对于同样的模型，优先级越高的渠道会越优先请求
+
+![aiproxy9](/imgs/aiproxy-9.png)
+
+### 启用/禁用
+
+在渠道右侧的控制菜单中，还可以控制渠道的启用或禁用，被禁用的渠道将无法再提供模型服务
+
+![aiproxy10](/imgs/aiproxy-10.png)
+
+### 调用日志
+
+在 “调用日志” 页面，会展示发送到模型处的请求记录，包括具体的输入输出 tokens、请求时间、请求耗时、请求地址等等
+
+![aiproxy11](/imgs/aiproxy-11.png)
+
+## 如何从 OneAPI 迁移到 AI Proxy
+
+可以从任意终端，发起 1 个 HTTP 请求。其中 {{host}} 替换成 AI Proxy 地址，{{admin_key}} 替换成 AI Proxy 中 ADMIN_KEY 的值，参数 dsn 为 OneAPI 的 mysql 连接串
+
+```bash
+curl --location --request POST '{{host}}/api/channels/import/oneapi' \
+--header 'Authorization: Bearer {{admin_key}}' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+    "dsn": "mysql://root:s5mfkwst@tcp(dbconn.sealoshzh.site:33123)/mydb"
+}'
+```
+
+执行成功的情况下会返回 "success": true
+
+脚本目前不是完全准，可能会有部分渠道遗漏，还需要手动再检查下
--- a/docSite/content/zh-cn/docs/development/modelConfig/intro.md
+++ b/docSite/content/zh-cn/docs/development/modelConfig/intro.md
@@ -13,9 +13,15 @@ weight: 744

 ## 配置模型

-### 1. 使用 OneAPI 对接模型提供商
+### 1. 对接模型提供商

-可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api) 来进行模型聚合，从而可以对接更多模型提供商。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
+#### AI Proxy
+
+从 4.8.23 版本开始， FastGPT 支持在页面上配置模型提供商，即使用 [AI Proxy 接入教程](/docs/development/modelconfig/ai-proxy) 来进行模型聚合，从而可以对接更多模型提供商。
+
+#### One API
+
+也可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api)。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：

 ![alt text](/imgs/image-95.png)

@@ -28,17 +34,7 @@ weight: 744

 在 OneAPI 配置好模型后，你就可以打开 FastGPT 页面，启用对应模型了。

-### 2. 登录 root 用户
-
-仅 root 用户可以进行模型配置。
-
-### 3. 进入模型配置页面
-
-登录 root 用户后，在`账号-模型提供商-模型配置`中，你可以看到所有内置的模型和自定义模型，以及哪些模型启用了。
-
-![alt text](/image-90.png)
-
-### 4. 配置介绍
+### 2. 配置介绍

 {{% alert icon="🤖 " context="success" %}}
 注意：
--- a/docSite/content/zh-cn/docs/development/modelConfig/one-api.md
+++ b/docSite/content/zh-cn/docs/development/modelConfig/one-api.md
@@ -20,10 +20,6 @@ FastGPT 目前采用模型分离的部署方案，FastGPT 中只兼容 OpenAI

 ## 部署

-### Docker 版本
-
-`docker-compose.yml` 文件已加入了 OneAPI 配置，可直接使用。默认暴露在 3001 端口。
-
 ### Sealos 版本

 * 北京区: [点击部署 OneAPI](https://hzh.sealos.run/?openapp=system-template%3FtemplateName%3Done-api)
--- a/docSite/content/zh-cn/docs/development/modelConfig/siliconCloud.md
+++ b/docSite/content/zh-cn/docs/development/modelConfig/siliconCloud.md
@@ -35,7 +35,7 @@ CHAT_API_KEY=sk-xxxxxx

 ![alt text](/imgs/image-104.png)

-## 5. 体验测试
+## 4. 体验测试

 ### 测试对话和图片识别