mirror of
https://github.com/labring/FastGPT.git
synced 2025-10-22 03:45:52 +00:00
fix: doc path (#5393)
This commit is contained in:
Archer
@@ -17,7 +17,7 @@ AI Proxy 与 One API 类似，也是作为一个 OpenAI 接口管理 & 分发系
|
||||
|
||||
## 运行原理
|
||||
|
||||
AI proxy 核心模块:
|
||||
AI proxy 核心模块:
|
||||
|
||||
1. 渠道管理：管理各家模型提供商的 API Key 和可用模型列表。
|
||||
2. 模型调用：根据请求的模型，选中对应的渠道；根据渠道的 API 格式，构造请求体，发送请求；格式化响应体成标准格式返回。
|
||||
@@ -47,12 +47,12 @@ AI proxy 相关功能，可以在`账号-模型提供商`页面找到。
|
||||
|
||||
1. 渠道名：展示在外部的渠道名称，仅作标识;
|
||||
2. 厂商：模型对应的厂商，不同厂商对应不同的默认地址和 API 密钥格式;
|
||||
3. 模型：当前渠道具体可以使用的模型，系统内置了主流的一些模型，如果下拉框中没有想要的选项，可以点击“新增模型”，[增加自定义模型](/docs/development/modelconfig/intro/#新增自定义模型);
|
||||
3. 模型：当前渠道具体可以使用的模型，系统内置了主流的一些模型，如果下拉框中没有想要的选项，可以点击“新增模型”，[增加自定义模型](/docs/introduction/development/modelconfig/intro/#新增自定义模型);
|
||||
4. 模型映射：将 FastGPT 请求的模型，映射到具体提供的模型上。例如：
|
||||
|
||||
|
||||
```json
|
||||
{
|
||||
"gpt-4o-test": "gpt-4o",
|
||||
"gpt-4o-test": "gpt-4o"
|
||||
}
|
||||
```
|
||||
|
||||
@@ -81,7 +81,7 @@ FatGPT 中的模型为 `gpt-4o-test`，向 AI Proxy 发起请求时也是 `gpt-4
|
||||
|
||||
### 3. 启用模型
|
||||
|
||||
最后在`模型配置`中，可以选择启用对应的模型，这样就能在平台中使用了，更多模型配置可以参考[模型配置](/docs/development/modelconfig/intro)
|
||||
最后在`模型配置`中，可以选择启用对应的模型，这样就能在平台中使用了，更多模型配置可以参考[模型配置](/docs/introduction/development/modelconfig/intro)
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -15,11 +15,11 @@ import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
#### AI Proxy
|
||||
|
||||
从 4.8.23 版本开始， FastGPT 支持在页面上配置模型提供商，即使用 [AI Proxy 接入教程](/docs/development/modelconfig/ai-proxy) 来进行模型聚合，从而可以对接更多模型提供商。
|
||||
从 4.8.23 版本开始， FastGPT 支持在页面上配置模型提供商，即使用 [AI Proxy 接入教程](/docs/introduction/development/modelconfig/ai-proxy) 来进行模型聚合，从而可以对接更多模型提供商。
|
||||
|
||||
#### One API
|
||||
|
||||
也可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api)。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
|
||||
也可以使用 [OneAPI 接入教程](/docs/introduction/development/modelconfig/one-api)。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
|
||||
|
||||
|
||||
|
||||
@@ -223,7 +223,7 @@ FastGPT 页面上提供了每类模型的简单测试，可以初步检查模型
|
||||
|
||||
#### 私有部署模型
|
||||
|
||||
[点击查看部署 ReRank 模型教程](/docs/development/custom-models/bge-rerank/)
|
||||
[点击查看部署 ReRank 模型教程](/docs/introduction/development/custom-models/bge-rerank/)
|
||||
|
||||
### 接入语音识别模型
|
||||
|
||||
@@ -253,7 +253,7 @@ OneAPI 的语言识别接口，无法正确的识别其他模型（会始终识
|
||||
|
||||
所有接口均遵循 OpenAI 提供的模型格式，可参考 [OpenAI API 文档](https://platform.openai.com/docs/api-reference/introduction) 进行配置。
|
||||
|
||||
由于 OpenAI 没有提供 ReRank 模型，遵循的是 Cohere 的格式。[点击查看接口请求示例](/docs/development/faq/#如何检查模型问题)
|
||||
由于 OpenAI 没有提供 ReRank 模型，遵循的是 Cohere 的格式。[点击查看接口请求示例](/docs/introduction/development/faq/#如何检查模型问题)
|
||||
|
||||
### 模型价格配置
|
||||
|
||||
@@ -276,13 +276,13 @@ OneAPI 的语言识别接口，无法正确的识别其他模型（会始终识
|
||||
|
||||
### 添加模型
|
||||
|
||||
你可以在`FastGPT-plugin`项目中`modules/model/provider`目录下，找对应模型提供商的配置文件，并追加模型配置。请自行全文检查，`model`字段，必须在所有模型中唯一。具体配置字段说明，参考[模型配置字段说明](/docs/development/modelconfig/intro/#通过配置文件配置)
|
||||
你可以在`FastGPT-plugin`项目中`modules/model/provider`目录下，找对应模型提供商的配置文件，并追加模型配置。请自行全文检查，`model`字段，必须在所有模型中唯一。具体配置字段说明，参考[模型配置字段说明](/docs/introduction/development/modelconfig/intro/#通过配置文件配置)
|
||||
|
||||
## 旧版模型配置说明
|
||||
|
||||
配置好 OneAPI 后，需要在`config.json`文件中，手动的增加模型配置，并重启。
|
||||
|
||||
由于环境变量不利于配置复杂的内容，FastGPT 采用了 ConfigMap 的形式挂载配置文件，你可以在 `projects/app/data/config.json` 看到默认的配置文件。可以参考 [docker-compose 快速部署](/docs/development/docker/) 来挂载配置文件。
|
||||
由于环境变量不利于配置复杂的内容，FastGPT 采用了 ConfigMap 的形式挂载配置文件，你可以在 `projects/app/data/config.json` 看到默认的配置文件。可以参考 [docker-compose 快速部署](/docs/introduction/development/docker/) 来挂载配置文件。
|
||||
|
||||
**开发环境下**，你需要将示例配置文件 `config.json` 复制成 `config.local.json` 文件才会生效。
|
||||
**Docker部署**，修改`config.json` 文件，需要重启容器。
|
||||
|
||||
@@ -8,7 +8,8 @@ import { Alert } from '@/components/docs/Alert';
|
||||
FastGPT 还可以通过 PPIO LLM API 接入模型。
|
||||
|
||||
<Alert context="warning">
|
||||
以下内容搬运自 [FastGPT 接入 PPIO LLM API](https://ppinfra.com/docs/third-party/fastgpt-use)，可能会有更新不及时的情况。
|
||||
以下内容搬运自 [FastGPT 接入 PPIO LLM
|
||||
API](https://ppinfra.com/docs/third-party/fastgpt-use)，可能会有更新不及时的情况。
|
||||
</Alert>
|
||||
|
||||
FastGPT 是一个将 AI 开发、部署和使用全流程简化为可视化操作的平台。它使开发者不需要深入研究算法，
|
||||
@@ -32,15 +33,25 @@ PPIO 派欧云提供简单易用的 API 接口，让开发者能够轻松调用
|
||||
登录派欧云控制台 [API 秘钥管理](https://www.ppinfra.com/settings/key-management) 页面，点击创建按钮。
|
||||
注册账号填写邀请码【VOJL20】得 50 代金券
|
||||
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/BKWqbzI5PoYG6qxwAPxcinQDnob.png" alt="创建 API 密钥" />
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/BKWqbzI5PoYG6qxwAPxcinQDnob.png"
|
||||
alt="创建 API 密钥"
|
||||
/>
|
||||
|
||||
(3) 生成并保存 【API 密钥】
|
||||
|
||||
<Alert context="warning">
|
||||
秘钥在服务端是加密存储，请在生成时保存好秘钥；若遗失可以在控制台上删除并创建一个新的秘钥。
|
||||
秘钥在服务端是加密存储，请在生成时保存好秘钥；若遗失可以在控制台上删除并创建一个新的秘钥。
|
||||
</Alert>
|
||||
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/OkUwbbWrcoCY2SxwVMIcM2aZnrs.png" alt="生成 API 密钥" />
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/GExfbvcosoJhVKxpzKVczlsdn3d.png" alt="保存 API 密钥" />
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/OkUwbbWrcoCY2SxwVMIcM2aZnrs.png"
|
||||
alt="生成 API 密钥"
|
||||
/>
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/GExfbvcosoJhVKxpzKVczlsdn3d.png"
|
||||
alt="保存 API 密钥"
|
||||
/>
|
||||
|
||||
(4) 获取需要使用的模型 ID
|
||||
|
||||
@@ -55,7 +66,7 @@ deepseek 系列：
|
||||
## 2. 部署最新版 FastGPT 到本地环境
|
||||
|
||||
<Alert context="warning">
|
||||
请使用 v4.8.22 以上版本，部署参考: https://doc.tryfastgpt.ai/docs/development/intro/
|
||||
请使用 v4.8.22 以上版本，部署参考: https://doc.fastgpt.io/docs/introduction/development/intro/
|
||||
</Alert>
|
||||
|
||||
## 3. 模型配置（下面两种方式二选其一）
|
||||
@@ -68,33 +79,62 @@ OPENAI_BASE_URL= http://OneAPI-IP:OneAPI-PORT/v1
|
||||
|
||||
- 修改后重启 FastGPT，按下图在模型提供商中选择派欧云
|
||||
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/Fvqzb3kTroys5Uxkjlzco7kwnsb.png" alt="选择派欧云" />
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/Fvqzb3kTroys5Uxkjlzco7kwnsb.png"
|
||||
alt="选择派欧云"
|
||||
/>
|
||||
|
||||
- 测试连通性
|
||||
以 deepseek 为例，在模型中选择使用 deepseek/deepseek-r1/community，点击图中②的位置进行连通性测试，出现图中绿色的的成功显示证明连通成功，可以进行后续的配置对话了
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/FzKGbGsSPoX4Eexobj2cxcaTnib.png" alt="测试连通性" />
|
||||
以 deepseek 为例，在模型中选择使用 deepseek/deepseek-r1/community，点击图中②的位置进行连通性测试，出现图中绿色的的成功显示证明连通成功，可以进行后续的配置对话了
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/FzKGbGsSPoX4Eexobj2cxcaTnib.png"
|
||||
alt="测试连通性"
|
||||
/>
|
||||
|
||||
（2）不使用 OneAPI 接入 PPIO 模型
|
||||
|
||||
按照下图在模型提供商中选择派欧云
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/QbcdbPqRsoAmuyx2nlycQWFanrc.png" alt="选择派欧云" />
|
||||
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/QbcdbPqRsoAmuyx2nlycQWFanrc.png"
|
||||
alt="选择派欧云"
|
||||
/>
|
||||
|
||||
- 配置模型 自定义请求地址中输入：`https://api.ppinfra.com/v3/openai/chat/completions`
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/ZVyAbDIaxo7ksAxLI3HcexYYnZf.png" alt="配置模型" />
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/Ha9YbggkwoQsVdx1Z4Gc9zUSnle.png" alt="配置模型" />
|
||||
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/ZVyAbDIaxo7ksAxLI3HcexYYnZf.png"
|
||||
alt="配置模型"
|
||||
/>
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/Ha9YbggkwoQsVdx1Z4Gc9zUSnle.png"
|
||||
alt="配置模型"
|
||||
/>
|
||||
|
||||
- 测试连通性
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/V1f0b89uloab9uxxj7IcKT0rn3e.png" alt="测试连通性" />
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/V1f0b89uloab9uxxj7IcKT0rn3e.png"
|
||||
alt="测试连通性"
|
||||
/>
|
||||
|
||||
出现图中绿色的的成功显示证明连通成功，可以进行对话配置
|
||||
|
||||
## 4. 配置对话
|
||||
|
||||
（1）新建工作台
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/ZaGpbBH6QoVubIx2TsLcwYEInfe.png" alt="新建工作台" />
|
||||
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/ZaGpbBH6QoVubIx2TsLcwYEInfe.png"
|
||||
alt="新建工作台"
|
||||
/>
|
||||
（2）开始聊天
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/HzcTb4gobokVRQxTlU7cD5OunMf.png" alt="开始聊天" />
|
||||
<img
|
||||
src="https://static.ppinfra.com/docs/image/llm/HzcTb4gobokVRQxTlU7cD5OunMf.png"
|
||||
alt="开始聊天"
|
||||
/>
|
||||
|
||||
## PPIO 全新福利重磅来袭 🔥
|
||||
|
||||
顺利完成教程配置步骤后，您将解锁两大权益：1. 畅享 PPIO 高速通道与 FastGPT 的效能组合；2.立即激活 **「新用户邀请奖励」** ————通过专属邀请码邀好友注册，您与好友可各领 50 元代金券，硬核福利助力 AI 工具效率倍增！
|
||||
|
||||
🎁 新手专享：立即使用邀请码【VOJL20】完成注册，50 元代金券奖励即刻到账！
|
||||
|
||||
@@ -5,11 +5,10 @@ description: 通过 SiliconCloud 体验开源模型
|
||||
|
||||
[SiliconCloud(硅基流动)](https://cloud.siliconflow.cn/i/TR9Ym0c4) 是一个以提供开源模型调用为主的平台，并拥有自己的加速引擎。帮助用户低成本、快速的进行开源模型的测试和使用。实际体验下来，他们家模型的速度和稳定性都非常不错，并且种类丰富，覆盖语言、向量、重排、TTS、STT、绘图、视频生成模型，可以满足 FastGPT 中所有模型需求。
|
||||
|
||||
如果你想部分模型使用 SiliconCloud 的模型，可额外参考[OneAPI接入硅基流动](/docs/development/modelconfig/one-api/#硅基流动--开源模型大合集)。
|
||||
如果你想部分模型使用 SiliconCloud 的模型，可额外参考[OneAPI接入硅基流动](/docs/introduction/development/modelconfig/one-api/#硅基流动--开源模型大合集)。
|
||||
|
||||
本文会介绍完全使用 SiliconCloud 模型来部署 FastGPT 的方案。
|
||||
|
||||
|
||||
## 1. 注册 SiliconCloud 账号
|
||||
|
||||
1. [点击注册硅基流动账号](https://cloud.siliconflow.cn/i/TR9Ym0c4)
|
||||
@@ -37,8 +36,8 @@ CHAT_API_KEY=sk-xxxxxx
|
||||
|
||||
随便新建一个简易应用，选择对应模型，并开启图片上传后进行测试：
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
| | |
|
||||
| ------------------------------- | ------------------------------- |
|
||||
|  |  |
|
||||
|
||||
可以看到，72B 的模型，性能还是非常快的，这要是本地没几个 4090，不说配置环境，输出怕都要 30s 了。
|
||||
@@ -47,22 +46,22 @@ CHAT_API_KEY=sk-xxxxxx
|
||||
|
||||
新建一个知识库（由于只配置了一个向量模型，页面上不会展示向量模型选择）
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
| | |
|
||||
| ------------------------------- | ------------------------------- |
|
||||
|  |  |
|
||||
|
||||
导入本地文件，直接选择文件，然后一路下一步即可。79 个索引，大概花了 20s 的时间就完成了。现在我们去测试一下知识库问答。
|
||||
|
||||
首先回到我们刚创建的应用，选择知识库，调整一下参数后即可开始对话：
|
||||
|
||||
| | | |
|
||||
| --- | --- | --- |
|
||||
| | | |
|
||||
| ------------------------------- | ------------------------------- | ------------------------------- |
|
||||
|  |  |  |
|
||||
|
||||
对话完成后，点击底部的引用，可以查看引用详情，同时可以看到具体的检索和重排得分：
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
| | |
|
||||
| ------------------------------- | ------------------------------- |
|
||||
|  |  |
|
||||
|
||||
### 测试语音播放
|
||||
@@ -79,8 +78,8 @@ CHAT_API_KEY=sk-xxxxxx
|
||||
|
||||
开启后，对话输入框中，会增加一个话筒的图标，点击可进行语音输入：
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
| | |
|
||||
| ------------------------------- | ------------------------------- |
|
||||
|  |  |
|
||||
|
||||
## 总结
|
||||
|
||||
Reference in New Issue
Block a user