ai proxy docker compose & doc (#3947)

deploy/docker/docker-compose-milvus.yml

@@ -137,6 +137,10 @@ services:
       - FE_DOMAIN=
       # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
       - DEFAULT_ROOT_PSW=1234
+      # AI Proxy 的地址，如果配了该地址，优先使用
+      - AIPROXY_API_ENDPOINT=http://aiproxy:3000
+      # AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
+      - AIPROXY_API_TOKEN=aiproxy
       # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
       - OPENAI_BASE_URL=http://oneapi:3000/v1
       # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
@@ -170,48 +174,49 @@ services:
     volumes:
       - ./config.json:/app/data/config.json
 
-  # oneapi
-  mysql:
-    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
-    # image: mysql:8.0.36
-    container_name: mysql
-    restart: always
-    ports:
-      - 3306:3306
-    networks:
-      - fastgpt
-    command: --default-authentication-plugin=mysql_native_password
-    environment:
-      # 默认root密码，仅首次运行有效
-      MYSQL_ROOT_PASSWORD: oneapimmysql
-      MYSQL_DATABASE: oneapi
-    volumes:
-      - ./mysql:/var/lib/mysql
-  oneapi:
-    container_name: oneapi
-    image: ghcr.io/songquanpeng/one-api:v0.6.7
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
-    ports:
-      - 3001:3000
+  # AI Proxy
+  aiproxy:
+    image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
+    container_name: aiproxy
+    restart: unless-stopped
     depends_on:
-      - mysql
+      pgsql:
+        condition: service_healthy
+    ports:
+      - '3002:3000/tcp'
     networks:
       - fastgpt
-    restart: always
     environment:
-      # mysql 连接参数
-      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
-      # 登录凭证加密密钥
-      - SESSION_SECRET=oneapikey
-      # 内存缓存
-      - MEMORY_CACHE_ENABLED=true
-      # 启动聚合更新，减少数据交互频率
-      - BATCH_UPDATE_ENABLED=true
-      # 聚合更新时长
-      - BATCH_UPDATE_INTERVAL=10
-      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
-      - INITIAL_ROOT_TOKEN=fastgpt
+      - ADMIN_KEY=aiproxy # 对应 fastgpt 里的AIPROXY_API_TOKEN
+      - LOG_DETAIL_STORAGE_HOURS=1 # 日志详情保存时间（小时）
+      - TZ=Asia/Shanghai
+      - SQL_DSN=postgres://postgres:aiproxy@pgsql:5432/aiproxy
+      - DISABLE_MODEL_CONFIG=true
+    healthcheck:
+      test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
+      interval: 5s
+      timeout: 5s
+      retries: 10
+
+  # AI Proxy
+  pgsql:
+    # image: "postgres:latest"
+    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
+    restart: unless-stopped
+    container_name: pgsql
     volumes:
-      - ./oneapi:/data
+      - ./pgsql:/var/lib/postgresql/data
+    networks:
+      - fastgpt
+    environment:
+      TZ: Asia/Shanghai
+      POSTGRES_USER: postgres
+      POSTGRES_DB: aiproxy
+      POSTGRES_PASSWORD: aiproxy
+    healthcheck:
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
+      interval: 5s
+      timeout: 5s
+      retries: 10
 networks:
   fastgpt:

deploy/docker/docker-compose-pgvector.yml

@@ -95,6 +95,10 @@ services:
       - FE_DOMAIN=
       # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
       - DEFAULT_ROOT_PSW=1234
+      # AI Proxy 的地址，如果配了该地址，优先使用
+      - AIPROXY_API_ENDPOINT=http://aiproxy:3000
+      # AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
+      - AIPROXY_API_TOKEN=aiproxy
       # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
       - OPENAI_BASE_URL=http://oneapi:3000/v1
       # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
@@ -127,48 +131,49 @@ services:
     volumes:
       - ./config.json:/app/data/config.json
 
-  # oneapi
-  mysql:
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
-    image: mysql:8.0.36
-    container_name: mysql
-    restart: always
-    ports:
-      - 3306:3306
-    networks:
-      - fastgpt
-    command: --default-authentication-plugin=mysql_native_password
-    environment:
-      # 默认root密码，仅首次运行有效
-      MYSQL_ROOT_PASSWORD: oneapimmysql
-      MYSQL_DATABASE: oneapi
-    volumes:
-      - ./mysql:/var/lib/mysql
-  oneapi:
-    container_name: oneapi
-    image: ghcr.io/songquanpeng/one-api:v0.6.7
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
-    ports:
-      - 3001:3000
+  # AI Proxy
+  aiproxy:
+    image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
+    container_name: aiproxy
+    restart: unless-stopped
     depends_on:
-      - mysql
+      pgsql:
+        condition: service_healthy
+    ports:
+      - '3002:3000/tcp'
     networks:
       - fastgpt
-    restart: always
     environment:
-      # mysql 连接参数
-      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
-      # 登录凭证加密密钥
-      - SESSION_SECRET=oneapikey
-      # 内存缓存
-      - MEMORY_CACHE_ENABLED=true
-      # 启动聚合更新，减少数据交互频率
-      - BATCH_UPDATE_ENABLED=true
-      # 聚合更新时长
-      - BATCH_UPDATE_INTERVAL=10
-      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
-      - INITIAL_ROOT_TOKEN=fastgpt
+      - ADMIN_KEY=aiproxy # 对应 fastgpt 里的AIPROXY_API_TOKEN
+      - LOG_DETAIL_STORAGE_HOURS=1 # 日志详情保存时间（小时）
+      - TZ=Asia/Shanghai
+      - SQL_DSN=postgres://postgres:aiproxy@pgsql:5432/aiproxy
+      - DISABLE_MODEL_CONFIG=true
+    healthcheck:
+      test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
+      interval: 5s
+      timeout: 5s
+      retries: 10
+
+  # AI Proxy
+  pgsql:
+    # image: "postgres:latest"
+    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
+    restart: unless-stopped
+    container_name: pgsql
     volumes:
-      - ./oneapi:/data
+      - ./pgsql:/var/lib/postgresql/data
+    networks:
+      - fastgpt
+    environment:
+      TZ: Asia/Shanghai
+      POSTGRES_USER: postgres
+      POSTGRES_DB: aiproxy
+      POSTGRES_PASSWORD: aiproxy
+    healthcheck:
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
+      interval: 5s
+      timeout: 5s
+      retries: 10
 networks:
   fastgpt:

deploy/docker/docker-compose-zilliz.yml

@@ -75,6 +75,10 @@ services:
       - FE_DOMAIN=
       # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
       - DEFAULT_ROOT_PSW=1234
+      # AI Proxy 的地址，如果配了该地址，优先使用
+      - AIPROXY_API_ENDPOINT=http://aiproxy:3000
+      # AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
+      - AIPROXY_API_TOKEN=aiproxy
       # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
       - OPENAI_BASE_URL=http://oneapi:3000/v1
       # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
@@ -108,48 +112,49 @@ services:
     volumes:
       - ./config.json:/app/data/config.json
 
-  # oneapi
-  mysql:
-    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
-    # image: mysql:8.0.36
-    container_name: mysql
-    restart: always
-    ports:
-      - 3306:3306
-    networks:
-      - fastgpt
-    command: --default-authentication-plugin=mysql_native_password
-    environment:
-      # 默认root密码，仅首次运行有效
-      MYSQL_ROOT_PASSWORD: oneapimmysql
-      MYSQL_DATABASE: oneapi
-    volumes:
-      - ./mysql:/var/lib/mysql
-  oneapi:
-    container_name: oneapi
-    image: ghcr.io/songquanpeng/one-api:v0.6.7
-    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
-    ports:
-      - 3001:3000
+  # AI Proxy
+  aiproxy:
+    image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
+    container_name: aiproxy
+    restart: unless-stopped
     depends_on:
-      - mysql
+      pgsql:
+        condition: service_healthy
+    ports:
+      - '3002:3000/tcp'
     networks:
       - fastgpt
-    restart: always
     environment:
-      # mysql 连接参数
-      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
-      # 登录凭证加密密钥
-      - SESSION_SECRET=oneapikey
-      # 内存缓存
-      - MEMORY_CACHE_ENABLED=true
-      # 启动聚合更新，减少数据交互频率
-      - BATCH_UPDATE_ENABLED=true
-      # 聚合更新时长
-      - BATCH_UPDATE_INTERVAL=10
-      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
-      - INITIAL_ROOT_TOKEN=fastgpt
+      - ADMIN_KEY=aiproxy # 对应 fastgpt 里的AIPROXY_API_TOKEN
+      - LOG_DETAIL_STORAGE_HOURS=1 # 日志详情保存时间（小时）
+      - TZ=Asia/Shanghai
+      - SQL_DSN=postgres://postgres:aiproxy@pgsql:5432/aiproxy
+      - DISABLE_MODEL_CONFIG=true
+    healthcheck:
+      test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
+      interval: 5s
+      timeout: 5s
+      retries: 10
+
+  # AI Proxy
+  pgsql:
+    # image: "postgres:latest"
+    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
+    restart: unless-stopped
+    container_name: pgsql
     volumes:
-      - ./oneapi:/data
+      - ./pgsql:/var/lib/postgresql/data
+    networks:
+      - fastgpt
+    environment:
+      TZ: Asia/Shanghai
+      POSTGRES_USER: postgres
+      POSTGRES_DB: aiproxy
+      POSTGRES_PASSWORD: aiproxy
+    healthcheck:
+      test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
+      interval: 5s
+      timeout: 5s
+      retries: 10
 networks:
   fastgpt:

docSite/content/zh-cn/docs/development/docker.md

@@ -195,15 +195,7 @@ sleep 10
 docker restart oneapi
 ```
 
-### 4. 打开 OneAPI 添加模型
-
-可以通过`ip:3001`访问OneAPI，默认账号为`root`密码为`123456`。
-
-在OneApi中添加合适的AI模型渠道。[点击查看相关教程](/docs/development/modelconfig/one-api/)
-
-只需要添加模型即可，模板已经配置好了oneapi的连接地址和令牌，无需变更。
-
-### 5. 访问 FastGPT
+### 4. 访问 FastGPT
 
 目前可以通过 `ip:3000` 直接访问(注意防火墙)。登录用户名为 `root`，密码为`docker-compose.yml`环境变量里设置的 `DEFAULT_ROOT_PSW`。
 
@@ -211,9 +203,11 @@ docker restart oneapi
 
 首次运行，会自动初始化 root 用户，密码为 `1234`（与环境变量中的`DEFAULT_ROOT_PSW`一致），日志里会提示一次`MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;`可忽略。
 
-### 6. 配置模型
+### 5. 配置模型
 
-登录FastGPT后，进入模型配置页面，务必先配置至少一个语言模型和一个向量模型，否则系统无法正常使用。
+登录FastGPT后，进入“模型提供商”页面，首先配置模型渠道，[点击查看相关教程](/docs/development/modelconfig/ai-proxy)
+
+然后配置具体模型，务必先配置至少一个语言模型和一个向量模型，否则系统无法正常使用。
 
 [点击查看模型配置教程](/docs/development/modelConfig/intro/)
 

docSite/content/zh-cn/docs/development/modelConfig/ai-proxy.md

@@ -0,0 +1,103 @@
+---
+title: '通过 AI Proxy 接入模型'
+description: '通过 AI Proxy 接入模型'
+icon: 'api'
+draft: false
+toc: true
+weight: 744
+---
+
+从 FastGPT 4.8.23 版本开始，引入 AI Proxy 来进一步方便模型的配置。
+
+AI Proxy 与 One API 类似，也是作为一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
+
+## 部署
+
+### Docker 版本
+
+`docker-compose.yml` 文件已加入了 AI Proxy 配置，可直接使用。
+
+## 基础使用
+
+### 1. 创建渠道
+
+如果 FastGPT 的环境变量中，设置了 AIPROXY_API_ENDPOINT 的值，那么在“模型提供商”的配置页面，会多出两个 tab，可以直接在 FastGPT 平台上配置模型渠道，以及查看模型实际调用日志。
+
+![aiproxy1](/imgs/aiproxy-1.png)
+
+点击右上角的“新增渠道”，即可进入渠道配置页面
+
+![aiproxy2](/imgs/aiproxy-2.png)
+
+以阿里云的模型为例，进行如下配置
+
+![aiproxy3](/imgs/aiproxy-3.png)
+
+1. 渠道名：展示在外部的渠道名称，仅作标识;
+2. 厂商：模型对应的厂商，不同厂商对应不同的默认地址和 API 密钥格式;
+3. 模型：当前渠道具体可以使用的模型，系统内置了主流的一些模型，如果下拉框中没有想要的选项，可以点击“新增模型”，[增加自定义模型](/docs/development/modelconfig/intro/#新增自定义模型);
+4. 模型映射：将 FastGPT 请求的模型，映射到具体提供的模型上；
+5. 代理地址：具体请求的地址，系统给每个主流渠道配置了默认的地址，如果无需改动则不用填
+6. API 密钥：从模型厂商处获取的 API 凭证
+
+最后点击“新增”，就能在“模型渠道”下看到刚刚配置的渠道
+
+![aiproxy4](/imgs/aiproxy-4.png)
+
+### 2. 渠道测试
+
+然后可以对渠道进行测试，确保配置的模型有效
+
+![aiproxy5](/imgs/aiproxy-5.png)
+
+点击“模型测试”，可以看到配置的模型列表，点击“开始测试”
+
+![aiproxy6](/imgs/aiproxy-6.png)
+
+等待模型测试完成后，会输出每个模型的测试结果以及请求时长
+
+![aiproxy7](/imgs/aiproxy-7.png)
+
+### 3. 启用模型
+
+最后在“模型配置”中，可以选择启用对应的模型，这样就能在平台中使用了
+
+![aiproxy8](/imgs/aiproxy-8.png)
+
+
+## 渠道设置
+
+### 优先级
+
+在 FastGPT 中，可以给渠道设置优先级，对于同样的模型，优先级越高的渠道会越优先请求
+
+![aiproxy9](/imgs/aiproxy-9.png)
+
+### 启用/禁用
+
+在渠道右侧的控制菜单中，还可以控制渠道的启用或禁用，被禁用的渠道将无法再提供模型服务
+
+![aiproxy10](/imgs/aiproxy-10.png)
+
+### 调用日志
+
+在 “调用日志” 页面，会展示发送到模型处的请求记录，包括具体的输入输出 tokens、请求时间、请求耗时、请求地址等等
+
+![aiproxy11](/imgs/aiproxy-11.png)
+
+## 如何从 OneAPI 迁移到 AI Proxy
+
+可以从任意终端，发起 1 个 HTTP 请求。其中 {{host}} 替换成 AI Proxy 地址，{{admin_key}} 替换成 AI Proxy 中 ADMIN_KEY 的值，参数 dsn 为 OneAPI 的 mysql 连接串
+
+```bash
+curl --location --request POST '{{host}}/api/channels/import/oneapi' \
+--header 'Authorization: Bearer {{admin_key}}' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+    "dsn": "mysql://root:s5mfkwst@tcp(dbconn.sealoshzh.site:33123)/mydb"
+}'
+```
+
+执行成功的情况下会返回 "success": true
+
+脚本目前不是完全准，可能会有部分渠道遗漏，还需要手动再检查下

docSite/content/zh-cn/docs/development/modelConfig/intro.md

@@ -13,9 +13,15 @@ weight: 744
 
 ## 配置模型
 
-### 1. 使用 OneAPI 对接模型提供商
+### 1. 对接模型提供商
 
-可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api) 来进行模型聚合，从而可以对接更多模型提供商。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
+#### AI Proxy
+
+从 4.8.23 版本开始， FastGPT 支持在页面上配置模型提供商，即使用 [AI Proxy 接入教程](/docs/development/modelconfig/ai-proxy) 来进行模型聚合，从而可以对接更多模型提供商。
+
+#### One API
+
+也可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api)。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
 
 ![alt text](/imgs/image-95.png)
 
@@ -28,17 +34,7 @@ weight: 744
 
 在 OneAPI 配置好模型后，你就可以打开 FastGPT 页面，启用对应模型了。
 
-### 2. 登录 root 用户
-
-仅 root 用户可以进行模型配置。
-
-### 3. 进入模型配置页面
-
-登录 root 用户后，在`账号-模型提供商-模型配置`中，你可以看到所有内置的模型和自定义模型，以及哪些模型启用了。
-
-![alt text](/image-90.png)
-
-### 4. 配置介绍
+### 2. 配置介绍
 
 {{% alert icon="🤖 " context="success" %}}
 注意：

docSite/content/zh-cn/docs/development/modelConfig/one-api.md

@@ -20,10 +20,6 @@ FastGPT 目前采用模型分离的部署方案，FastGPT 中只兼容 OpenAI
 
 ## 部署
 
-### Docker 版本
-
-`docker-compose.yml` 文件已加入了 OneAPI 配置，可直接使用。默认暴露在 3001 端口。
-
 ### Sealos 版本
 
 * 北京区: [点击部署 OneAPI](https://hzh.sealos.run/?openapp=system-template%3FtemplateName%3Done-api)

docSite/content/zh-cn/docs/development/modelConfig/siliconCloud.md

@@ -35,7 +35,7 @@ CHAT_API_KEY=sk-xxxxxx
 
 ![alt text](/imgs/image-104.png)
 
-## 5. 体验测试
+## 4. 体验测试
 
 ### 测试对话和图片识别