mirror of
https://github.com/labring/FastGPT.git
synced 2025-07-22 20:37:48 +00:00
Docs: fix typo (#263)
Signed-off-by: Carson Yang <yangchuansheng33@gmail.com>
This commit is contained in:
@@ -9,16 +9,16 @@ weight: 200
|
||||
|
||||
## 前言
|
||||
|
||||
FastGPT 默认使用了 openai 的 LLM 模型和向量模型,如果想要私有化部署的话,可以使用 ChatGLM2 和 m3e-large 模型。以下是由用户@不做了睡大觉 提供的接入方法。该镜像直接集成了 M3E-Large 和 ChatGLM2-6B 模型,可以直接使用。
|
||||
FastGPT 默认使用了 OpenAI 的 LLM 模型和向量模型,如果想要私有化部署的话,可以使用 ChatGLM2 和 m3e-large 模型。以下是由用户@不做了睡大觉 提供的接入方法。该镜像直接集成了 M3E-Large 和 ChatGLM2-6B 模型,可以直接使用。
|
||||
|
||||
## 部署镜像
|
||||
|
||||
镜像名: `stawky/chatglm2-m3e:latest`
|
||||
国内镜像名: `registry.cn-hangzhou.aliyuncs.com/kbgpt/chatglm2-m3e:latest`
|
||||
端口号: 6006
|
||||
镜像默认 sk-key: `sk-aaabbbcccdddeeefffggghhhiiijjjkkk`
|
||||
+ 镜像名: `stawky/chatglm2-m3e:latest`
|
||||
+ 国内镜像名: `registry.cn-hangzhou.aliyuncs.com/kbgpt/chatglm2-m3e:latest`
|
||||
+ 端口号: 6006
|
||||
+ 镜像默认 sk-key: `sk-aaabbbcccdddeeefffggghhhiiijjjkkk`
|
||||
|
||||
## 接入 OneAPI
|
||||
## 接入 [One API](/docs/installation/one-api/)
|
||||
|
||||
为 chatglm2 和 m3e-large 各添加一个渠道,参数如下:
|
||||
|
||||
@@ -50,7 +50,7 @@ curl --location --request POST 'https://domain/v1/chat/completions' \
|
||||
}'
|
||||
```
|
||||
|
||||
Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 OneAPI 填写的自定义模型。
|
||||
Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One API 填写的自定义模型。
|
||||
|
||||
## 接入 FastGPT
|
||||
|
||||
@@ -94,20 +94,20 @@ M3E 模型的使用方法如下:
|
||||
|
||||
1. 创建知识库时候选择 M3E 模型。
|
||||
|
||||
注意,一旦选择后,知识库将无法修改向量模型。
|
||||
|
||||

|
||||
注意,一旦选择后,知识库将无法修改向量模型。
|
||||
|
||||

|
||||
|
||||
2. 导入数据
|
||||
3. 搜索测试
|
||||
|
||||

|
||||

|
||||
|
||||
4. 应用绑定知识库
|
||||
|
||||
注意,应用只能绑定同一个向量模型的知识库,不能跨模型绑定。并且,需要注意调整相似度,不同向量模型的相似度(距离)会有所区别,需要自行测试实验。
|
||||
|
||||

|
||||
注意,应用只能绑定同一个向量模型的知识库,不能跨模型绑定。并且,需要注意调整相似度,不同向量模型的相似度(距离)会有所区别,需要自行测试实验。
|
||||
|
||||

|
||||
|
||||
chatglm2 模型的使用方法如下:
|
||||
模型选择 chatglm2 即可
|
||||
|
@@ -68,7 +68,7 @@ ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,
|
||||
端口号: 6006
|
||||
镜像默认 sk-key: `sk-aaabbbcccdddeeefffggghhhiiijjjkkk`
|
||||
|
||||
## 接入 OneAPI
|
||||
## 接入 One API
|
||||
|
||||
为 chatglm2 添加一个渠道,参数如下:
|
||||
|
||||
@@ -90,7 +90,7 @@ curl --location --request POST 'https://domain/v1/chat/completions' \
|
||||
}'
|
||||
```
|
||||
|
||||
Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 OneAPI 填写的自定义模型。
|
||||
Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One API 填写的自定义模型。
|
||||
|
||||
## 接入 FastGPT
|
||||
|
||||
|
@@ -23,7 +23,7 @@ FastGPT 默认使用了 openai 的 embedding 向量模型,如果你想私有
|
||||
sk-key=xxxx
|
||||
```
|
||||
|
||||
## 接入 OneAPI
|
||||
## 接入 One API
|
||||
|
||||
添加一个渠道,参数如下:
|
||||
|
||||
@@ -43,7 +43,7 @@ curl --location --request POST 'https://domain/v1/embeddings' \
|
||||
}'
|
||||
```
|
||||
|
||||
Authorization 为 sk-key。model 为刚刚在 OneAPI 填写的自定义模型。
|
||||
Authorization 为 sk-key。model 为刚刚在 One API 填写的自定义模型。
|
||||
|
||||
## 接入 FastGPT
|
||||
|
||||
|
@@ -55,11 +55,11 @@ brew install orbstack
|
||||
{{< tab tabName="Windows" >}}
|
||||
{{< markdownify >}}
|
||||
|
||||
> 我们建议将源代码和其他数据绑定到 Linux 容器中时,将其存储在 Linux 文件系统中,而不是 Windows 文件系统中。
|
||||
>
|
||||
> 可以选择直接[使用 WSL 2 后端在 Windows 中安装 Docker Desktop](https://docs.docker.com/desktop/wsl/)。
|
||||
>
|
||||
> 也可以直接[在 WSL 2 中安装命令行版本的 Docker](https://nickjanetakis.com/blog/install-docker-in-wsl-2-without-docker-desktop)。
|
||||
我们建议将源代码和其他数据绑定到 Linux 容器中时,将其存储在 Linux 文件系统中,而不是 Windows 文件系统中。
|
||||
|
||||
可以选择直接[使用 WSL 2 后端在 Windows 中安装 Docker Desktop](https://docs.docker.com/desktop/wsl/)。
|
||||
|
||||
也可以直接[在 WSL 2 中安装命令行版本的 Docker](https://nickjanetakis.com/blog/install-docker-in-wsl-2-without-docker-desktop)。
|
||||
|
||||
{{< /markdownify >}}
|
||||
{{< /tab >}}
|
||||
|
@@ -1,6 +1,6 @@
|
||||
---
|
||||
title: '部署 one-api,实现多模型支持'
|
||||
description: '通过接入 one-api 来实现对各种大模型的支持'
|
||||
title: '部署 One API,实现多模型支持'
|
||||
description: '通过接入 One API 来实现对各种大模型的支持'
|
||||
icon: 'Api'
|
||||
draft: false
|
||||
toc: true
|
||||
@@ -9,9 +9,9 @@ weight: 730
|
||||
|
||||
默认情况下,FastGPT 只配置了 GPT 的 3 个模型,如果你需要接入其他模型,需要进行一些额外配置。
|
||||
|
||||
[one-api](https://github.com/songquanpeng/one-api) 是一个 OpenAI 接口管理 & 分发系统,可以通过标准的 OpenAI API 格式访问所有的大模型,开箱即用。
|
||||
[One API](https://github.com/songquanpeng/one-api) 是一个 OpenAI 接口管理 & 分发系统,可以通过标准的 OpenAI API 格式访问所有的大模型,开箱即用。
|
||||
|
||||
FastGPT 可以通过接入 one-api 来实现对各种大模型的支持。部署方法也很简单。
|
||||
FastGPT 可以通过接入 One API 来实现对各种大模型的支持。部署方法也很简单。
|
||||
|
||||
## MySQL 版本
|
||||
|
||||
@@ -55,17 +55,17 @@ BATCH_UPDATE_INTERVAL=60
|
||||
|
||||
## 使用步骤
|
||||
|
||||
### 1. 登录 one-api
|
||||
### 1. 登录 One API
|
||||
|
||||
打开 【one-api 应用详情】,找到访问地址:
|
||||
打开 【One API 应用详情】,找到访问地址:
|
||||

|
||||
|
||||
登录 one-api
|
||||
登录 One API
|
||||

|
||||
|
||||
### 2. 创建渠道和令牌
|
||||
|
||||
在 one-api 中添加对应渠道,直接点击 【添加基础模型】,不要遗漏了向量模型
|
||||
在 One API 中添加对应渠道,直接点击 【添加基础模型】,不要遗漏了向量模型
|
||||

|
||||
|
||||
创建一个令牌
|
||||
@@ -73,12 +73,12 @@ BATCH_UPDATE_INTERVAL=60
|
||||
|
||||
### 3. 修改 FastGPT 的环境变量
|
||||
|
||||
有了 one-api 令牌后,FastGPT 可以通过修改 baseurl 和 key 去请求到 one-api,再由 one-api 去请求不同的模型。修改下面两个环境变量:
|
||||
有了 One API 令牌后,FastGPT 可以通过修改 baseurl 和 key 去请求到 One API,再由 One API 去请求不同的模型。修改下面两个环境变量:
|
||||
|
||||
```bash
|
||||
# 下面的地址是 Sealos 提供的,务必写上 v1, 两个项目都在 sealos 部署时候,https://xxxx.cloud.sealos.io 可以改用内网地址
|
||||
OPENAI_BASE_URL=https://xxxx.cloud.sealos.io/v1
|
||||
# 下面的 key 是由 one-api 提供的令牌
|
||||
# 下面的 key 是由 One API 提供的令牌
|
||||
CHAT_API_KEY=sk-xxxxxx
|
||||
```
|
||||
|
||||
@@ -86,7 +86,7 @@ CHAT_API_KEY=sk-xxxxxx
|
||||
|
||||
**以添加文心一言为例:**
|
||||
|
||||
### 1. One-API 添加对应模型渠道
|
||||
### 1. One API 添加对应模型渠道
|
||||
|
||||

|
||||
|
||||
@@ -98,7 +98,7 @@ CHAT_API_KEY=sk-xxxxxx
|
||||
"ChatModels": [
|
||||
...
|
||||
{
|
||||
"model": "ERNIE-Bot", // 这里的模型需要对应 OneAPI 的模型
|
||||
"model": "ERNIE-Bot", // 这里的模型需要对应 One API 的模型
|
||||
"name": "文心一言", // 对外展示的名称
|
||||
"contextMaxToken": 4000, // 最大长下文 token,无论什么模型都按 GPT35 的计算。GPT 外的模型需要自行大致计算下这个值。可以调用官方接口去比对 Token 的倍率,然后在这里粗略计算。
|
||||
// 例如:文心一言的中英文 token 基本是 1:1,而 GPT 的中文 Token 是 2:1,如果文心一言官方最大 Token 是 4000,那么这里就可以填 8000,保险点就填 7000.
|
||||
|
Reference in New Issue
Block a user