Docs: fix zh-cn sitemap (#1631)

Signed-off-by: Carson Yang <yangchuansheng33@gmail.com>
2025-07-23 21:13:50 +00:00 · 2024-05-29 15:46:43 +08:00
parent f1e16b209a
commit 5c8f2f95f7
107 changed files with 4 additions and 4 deletions
--- a/docSite/content/zh-cn/docs/development/custom-models/_index.md
+++ b/docSite/content/zh-cn/docs/development/custom-models/_index.md
@@ -0,0 +1,9 @@
+---
+weight: 900
+title: '本地模型使用'
+description: 'FastGPT 对接本地模型'
+icon: 'model_training'
+draft: false
+images: []
+---
+<!-- 900~950 -->
--- a/docSite/content/zh-cn/docs/development/custom-models/bge-rerank.md
+++ b/docSite/content/zh-cn/docs/development/custom-models/bge-rerank.md
@@ -0,0 +1,121 @@
+---
+title: '接入 bge-rerank 重排模型'
+description: '接入 bge-rerank 重排模型'
+icon: 'sort'
+draft: false
+toc: true
+weight: 920
+---
+
+## 不同模型推荐配置
+
+推荐配置如下：
+
+{{< table "table-hover table-striped-columns" >}}
+| 模型名 | 内存 | 显存 | 硬盘空间 | 启动命令 |
+|------|---------|---------|----------|--------------------------|
+| bge-rerank-base | >=4GB | >=4GB | >=8GB | python app.py |
+| bge-rerank-large | >=8GB | >=8GB | >=8GB | python app.py |
+| bge-rerank-v2-m3 | >=8GB | >=8GB | >=8GB | python app.py |
+{{< /table >}}
+
+## 源码部署
+
+### 1. 安装环境
+
+- Python 3.9, 3.10
+- CUDA 11.7
+- 科学上网环境
+
+### 2. 下载代码
+
+3 个模型代码分别为：
+
+1. [https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-base](https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-base)
+2. [https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-large](https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-reranker-large)
+3. [https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-rerank-v2-m3](https://github.com/labring/FastGPT/tree/main/python/bge-rerank/bge-rerank-v2-m3)
+
+### 3. 安装依赖
+
+```sh
+pip install -r requirements.txt
+```
+
+### 4. 下载模型
+
+3个模型的 huggingface 仓库地址如下：
+
+1. [https://huggingface.co/BAAI/bge-reranker-base](https://huggingface.co/BAAI/bge-reranker-base)
+2. [https://huggingface.co/BAAI/bge-reranker-large](https://huggingface.co/BAAI/bge-reranker-large)
+3. [https://huggingface.co/BAAI/bge-rerank-v2-m3](https://huggingface.co/BAAI/bge-rerank-v2-m3)
+
+在对应代码目录下 clone 模型。目录结构：
+
+```
+bge-reranker-base/
+app.py
+Dockerfile
+requirements.txt
+```
+
+### 5. 运行代码
+
+```bash
+python app.py
+```
+
+启动成功后应该会显示如下地址：
+
+![](/imgs/rerank1.png)
+
+> 这里的 `http://0.0.0.0:6006` 就是连接地址。
+
+## docker 部署
+
+**镜像名分别为:**
+
+1. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1 (4 GB+)
+2. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-large:v0.1 (5 GB+)
+3. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-v2-m3:v0.1 (5 GB+)
+
+**端口**
+
+6006
+
+**环境变量**
+
+```
+ACCESS_TOKEN=访问安全凭证，请求时，Authorization: Bearer ${ACCESS_TOKEN}
+```
+
+**运行命令示例**
+
+```sh
+# auth token 为mytoken
+docker run -d --name reranker -p 6006:6006 -e ACCESS_TOKEN=mytoken --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1
+```
+
+**docker-compose.yml示例**
+```
+version: "3"
+services:
+  reranker:
+    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1
+    container_name: reranker
+    # GPU运行环境，如果宿主机未安装，将deploy配置隐藏即可
+    deploy:
+      resources:
+        reservations:
+          devices:
+          - driver: nvidia
+            count: all
+            capabilities: [gpu]
+    ports:
+      - 6006:6006
+    environment:
+      - ACCESS_TOKEN=mytoken
+
+```
+## 接入 FastGPT
+
+参考 [ReRank模型接入](/docs/development/configuration/#rerank-接入)，host 变量为部署的域名。
--- a/docSite/content/zh-cn/docs/development/custom-models/chatglm2-m3e.md
+++ b/docSite/content/zh-cn/docs/development/custom-models/chatglm2-m3e.md
@@ -0,0 +1,117 @@
+---
+title: '接入 ChatGLM2-m3e 模型'
+description: ' 将 FastGPT 接入私有化模型 ChatGLM2和m3e-large'
+icon: 'model_training'
+draft: false
+toc: true
+weight: 950
+---
+
+## 前言
+
+FastGPT 默认使用了 OpenAI 的 LLM 模型和向量模型，如果想要私有化部署的话，可以使用 ChatGLM2 和 m3e-large 模型。以下是由用户@不做了睡大觉 提供的接入方法。该镜像直接集成了 M3E-Large 和 ChatGLM2-6B 模型，可以直接使用。
+
+## 部署镜像
+
+ 镜像名: `stawky/chatglm2-m3e:latest`  
+ 国内镜像名: `registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2-m3e:latest`
+ 端口号: 6006
+
+```
+# 设置安全凭证（即oneapi中的渠道密钥）
+默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
+也可以通过环境变量引入：sk-key。有关docker环境变量引入的方法请自寻教程，此处不再赘述。
+```
+
+## 接入 [One API](/docs/development/one-api/)
+
+为 chatglm2 和 m3e-large 各添加一个渠道，参数如下：
+
+![](/imgs/model-m3e1.png)
+
+这里我填入 m3e 作为向量模型，chatglm2 作为语言模型
+
+## 测试
+
+curl 例子：
+
+```bash
+curl --location --request POST 'https://domain/v1/embeddings' \
+--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "m3e",
+  "input": ["laf是什么"]
+}'
+```
+
+```bash
+curl --location --request POST 'https://domain/v1/chat/completions' \
+--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "chatglm2",
+  "messages": [{"role": "user", "content": "Hello!"}]
+}'
+```
+
+Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One API 填写的自定义模型。
+
+## 接入 FastGPT
+
+修改 config.json 配置文件，在 llmModels 中加入 chatglm2, 在 vectorModels 中加入 M3E 模型：
+
+```json
+"llmModels": [
+  //其他对话模型
+  {
+    "model": "chatglm2",
+    "name": "chatglm2",
+    "maxToken": 8000,
+    "price": 0,
+    "quoteMaxToken": 4000,
+    "maxTemperature": 1.2,
+    "defaultSystemChatPrompt": ""
+  }
+],
+"vectorModels": [
+    {
+      "model": "text-embedding-ada-002",
+      "name": "Embedding-2",
+      "price": 0.2,
+      "defaultToken": 500,
+      "maxToken": 3000
+    },
+    {
+      "model": "m3e",
+      "name": "M3E（测试使用）",
+      "price": 0.1,
+      "defaultToken": 500,
+      "maxToken": 1800
+    }
+],
+```
+
+## 测试使用
+
+M3E 模型的使用方法如下：
+
+1. 创建知识库时候选择 M3E 模型。
+
+   注意，一旦选择后，知识库将无法修改向量模型。
+   
+   ![](/imgs/model-m3e2.png)
+
+2. 导入数据
+3. 搜索测试
+
+   ![](/imgs/model-m3e3.png)
+
+4. 应用绑定知识库
+
+   注意，应用只能绑定同一个向量模型的知识库，不能跨模型绑定。并且，需要注意调整相似度，不同向量模型的相似度（距离）会有所区别，需要自行测试实验。
+   
+   ![](/imgs/model-m3e4.png)
+
+chatglm2 模型的使用方法如下：
+模型选择 chatglm2 即可
--- a/docSite/content/zh-cn/docs/development/custom-models/chatglm2.md
+++ b/docSite/content/zh-cn/docs/development/custom-models/chatglm2.md
@@ -0,0 +1,124 @@
+---
+title: '接入 ChatGLM2-6B'
+description: ' 将 FastGPT 接入私有化模型 ChatGLM2-6B'
+icon: 'model_training'
+draft: false
+toc: true
+weight: 930
+---
+
+## 前言
+
+FastGPT 允许你使用自己的 OpenAI API KEY 来快速调用 OpenAI 接口，目前集成了 GPT-3.5, GPT-4 和 embedding，可构建自己的知识库。但考虑到数据安全的问题，我们并不能将所有的数据都交付给云端大模型。
+
+那么如何在 FastGPT 上接入私有化模型呢？本文就以清华的 ChatGLM2 为例，为各位讲解如何在 FastGPT 中接入私有化模型。
+
+## ChatGLM2-6B 简介
+
+ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，具体介绍可参阅 [ChatGLM2-6B 项目主页](https://github.com/THUDM/ChatGLM2-6B)。
+
+{{% alert context="warning" %}}
+注意，ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。本教程只是介绍了一种用法，无权给予任何授权！
+{{% /alert %}}
+
+## 推荐配置
+
+依据官方数据，同样是生成 8192 长度，量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存，量化后会稍微影响性能，但不多。
+
+因此推荐配置如下：
+
+{{< table "table-hover table-striped-columns" >}}
+| 类型 | 内存 | 显存 | 硬盘空间 | 启动命令 |
+|------|---------|---------|----------|--------------------------|
+| fp16 | >=16GB | >=16GB | >=25GB | python openai_api.py 16 |
+| int8 | >=16GB | >=9GB | >=25GB | python openai_api.py 8 |
+| int4 | >=16GB | >=6GB | >=25GB | python openai_api.py 4 |
+{{< /table >}}
+
+## 部署
+
+### 环境要求
+
+- Python 3.8.10
+- CUDA 11.8
+- 科学上网环境
+
+### 源码部署
+
+1. 根据上面的环境配置配置好环境，具体教程自行 GPT；
+2. 下载 [python 文件](https://github.com/labring/FastGPT/blob/main/files/models/ChatGLM2/openai_api.py)
+3. 在命令行输入命令 `pip install -r requirements.txt`；
+4. 打开你需要启动的 py 文件，在代码的 `verify_token` 方法中配置 token，这里的 token 只是加一层验证，防止接口被人盗用；
+5. 执行命令 `python openai_api.py --model_name 16`。这里的数字根据上面的配置进行选择。
+
+然后等待模型下载，直到模型加载完毕为止。如果出现报错先问 GPT。
+
+启动成功后应该会显示如下地址：
+
+![](/imgs/chatglm2.png)
+
+> 这里的 `http://0.0.0.0:6006` 就是连接地址。
+
+### docker 部署
+
+**镜像和端口**
+
+ 镜像名: `stawky/chatglm2:latest`  
+ 国内镜像名: `registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2:latest`
+ 端口号: 6006
+
+```
+# 设置安全凭证（即oneapi中的渠道密钥）
+默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
+也可以通过环境变量引入：sk-key。有关docker环境变量引入的方法请自寻教程，此处不再赘述。
+```
+
+## 接入 One API
+
+为 chatglm2 添加一个渠道，参数如下：
+
+![](/imgs/model-m3e1.png)
+
+这里我填入 chatglm2 作为语言模型
+
+## 测试
+
+curl 例子：
+
+```bash
+curl --location --request POST 'https://domain/v1/chat/completions' \
+--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "chatglm2",
+  "messages": [{"role": "user", "content": "Hello!"}]
+}'
+```
+
+Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One API 填写的自定义模型。
+
+## 接入 FastGPT
+
+修改 config.json 配置文件，在 llmModels 中加入 chatglm2 模型：
+
+```json
+"llmModels": [
+  //已有模型
+  {
+    "model": "chatglm2",
+    "name": "chatglm2",
+    "maxContext": 4000,
+    "maxResponse": 4000,
+    "quoteMaxToken": 2000,
+    "maxTemperature": 1,
+    "vision": false, 
+    "defaultSystemChatPrompt": ""
+  }
+]
+```
+
+## 测试使用
+
+chatglm2 模型的使用方法如下：
+
+模型选择 chatglm2 即可
--- a/docSite/content/zh-cn/docs/development/custom-models/m3e.md
+++ b/docSite/content/zh-cn/docs/development/custom-models/m3e.md
@@ -0,0 +1,89 @@
+---
+title: '接入 M3E 向量模型'
+description: ' 将 FastGPT 接入私有化模型 M3E'
+icon: 'model_training'
+draft: false
+toc: true
+weight: 940
+---
+
+## 前言
+
+FastGPT 默认使用了 openai 的 embedding 向量模型，如果你想私有部署的话，可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型，资源使用不高，CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。
+
+## 部署镜像
+
+镜像名: `stawky/m3e-large-api:latest`  
+国内镜像： `registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest`
+端口号: 6008
+环境变量：
+
+```
+# 设置安全凭证（即oneapi中的渠道密钥）
+默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
+也可以通过环境变量引入：sk-key。有关docker环境变量引入的方法请自寻教程，此处不再赘述。
+```
+
+## 接入 One API
+
+添加一个渠道，参数如下：
+
+![](/imgs/model-m3e1.png)
+
+## 测试
+
+curl 例子：
+
+```bash
+curl --location --request POST 'https://domain/v1/embeddings' \
+--header 'Authorization: Bearer xxxx' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "m3e",
+  "input": ["laf是什么"]
+}'
+```
+
+Authorization 为 sk-key。model 为刚刚在 One API 填写的自定义模型。
+
+## 接入 FastGPT
+
+修改 config.json 配置文件，在 vectorModels 中加入 M3E 模型：
+
+```json
+"vectorModels": [
+    {
+      "model": "text-embedding-ada-002",
+      "name": "Embedding-2",
+      "price": 0.2,
+      "defaultToken": 500,
+      "maxToken": 3000
+    },
+    {
+      "model": "m3e",
+      "name": "M3E（测试使用）",
+      "price": 0.1,
+      "defaultToken": 500,
+      "maxToken": 1800
+    }
+]
+```
+
+## 测试使用
+
+1. 创建知识库时候选择 M3E 模型。
+
+      注意，一旦选择后，知识库将无法修改向量模型。
+
+      ![](/imgs/model-m3e2.png)
+
+2. 导入数据
+3. 搜索测试
+
+      ![](/imgs/model-m3e3.png)
+
+4. 应用绑定知识库
+
+      注意，应用只能绑定同一个向量模型的知识库，不能跨模型绑定。并且，需要注意调整相似度，不同向量模型的相似度（距离）会有所区别，需要自行测试实验。
+
+      ![](/imgs/model-m3e4.png)
--- a/docSite/content/zh-cn/docs/development/custom-models/xinference.md
+++ b/docSite/content/zh-cn/docs/development/custom-models/xinference.md
@@ -0,0 +1,184 @@
+---
+title: '使用 Xinference 接入本地模型'
+description: '一站式本地 LLM 私有化部署'
+icon: 'api'
+draft: false
+toc: true
+weight: 910
+---
+
+[Xinference](https://github.com/xorbitsai/inference) 是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。
+
+## 安装 Xinference
+
+Xinference 支持多种推理引擎作为后端，以满足不同场景下部署大模型的需要，下面会分使用场景来介绍一下这三种推理后端，以及他们的使用方法。
+
+### 1. 服务器
+
+如果你的目标是在一台 Linux 或者 Window 服务器上部署大模型，可以选择 Transformers 或 vLLM 作为 Xinference 的推理后端：
+
+ [Transformers](https://huggingface.co/docs/transformers/index)：通过集成 Huggingface 的 Transformers 库作为后端，Xinference 可以最快地 集成当今自然语言处理（NLP）领域的最前沿模型（自然也包括 LLM）。
+ [vLLM](https://vllm.ai/): vLLM 是由加州大学伯克利分校开发的一个开源库，专为高效服务大型语言模型（LLM）而设计。它引入了 PagedAttention 算法， 通过有效管理注意力键和值来改善内存管理，吞吐量能够达到 Transformers 的 24 倍，因此 vLLM 适合在生产环境中使用，应对高并发的用户访问。
+
+假设你服务器配备 NVIDIA 显卡，可以参考[这篇文章中的指令来安装 CUDA](https://xorbits.cn/blogs/langchain-streamlit-doc-chat)，从而让 Xinference 最大限度地利用显卡的加速功能。
+
+#### Docker 部署
+
+你可以使用 Xinference 官方的 Docker 镜像来一键安装和启动 Xinference 服务（确保你的机器上已经安装了 Docker），命令如下：
+
+```bash
+docker run  -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0
+```
+
+#### 直接部署
+
+首先我们需要准备一个 3.9 以上的 Python 环境运行来 Xinference，建议先根据 conda 官网文档安装 conda。 然后使用以下命令来创建 3.11 的 Python 环境：
+
+```bash
+conda create --name py311 python=3.11
+conda activate py311
+```
+
+以下两条命令在安装 Xinference 时，将安装 Transformers 和 vLLM 作为 Xinference 的推理引擎后端：
+
+```bash
+pip install "xinference[transformers]"
+pip install "xinference[vllm]"
+pip install "xinference[transformers,vllm]" # 同时安装
+```
+
+PyPi 在 安装 Transformers 和 vLLM 时会自动安装 PyTorch，但自动安装的 CUDA 版本可能与你的环境不匹配，此时你可以根据 PyTorch 官网中的[安装指南](https://pytorch.org/get-started/locally/)来手动安装。
+
+只需要输入如下命令，就可以在服务上启动 Xinference 服务：
+
+```bash
+xinference-local -H 0.0.0.0
+```
+
+Xinference 默认会在本地启动服务，端口默认为 9997。因为这里配置了-H 0.0.0.0参数，非本地客户端也可以通过机器的 IP 地址来访问 Xinference 服务。
+
+### 2. 个人设备
+
+如果你想在自己的 Macbook 或者个人电脑上部署大模型，推荐安装 CTransformers 作为 Xinference 的推理后端。CTransformers 是用 GGML 实现的 C++ 版本 Transformers。
+
+[GGML](https://ggml.ai/) 是一个能让大语言模型在[消费级硬件上运行](https://github.com/ggerganov/llama.cpp/discussions/205)的 C++ 库。 GGML 最大的特色在于模型量化。量化一个大语言模型其实就是降低权重表示精度的过程，从而减少使用模型所需的资源。 例如，表示一个高精度浮点数（例如 0.0001）比表示一个低精度浮点数（例如 0.1）需要更多空间。由于 LLM 在推理时需要加载到内存中的，因此你需要花费硬盘空间来存储它们，并且在执行期间有足够大的 RAM 来加载它们，GGML 支持许多不同的量化策略，每种策略在效率和性能之间提供不同的权衡。
+
+通过以下命令来安装 CTransformers 作为 Xinference 的推理后端：
+
+```bash
+pip install xinference
+pip install ctransformers
+```
+
+因为 GGML 是一个 C++ 库，Xinference 通过 `llama-cpp-python` 这个库来实现语言绑定。对于不同的硬件平台，我们需要使用不同的编译参数来安装：
+
+- Apple Metal（MPS）：`CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python`
+- Nvidia GPU：`CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python`
+- AMD GPU：`CMAKE_ARGS="-DLLAMA_HIPBLAS=on" pip install llama-cpp-python`
+
+安装后只需要输入 `xinference-local`，就可以在你的 Mac 上启动 Xinference 服务。
+
+## 创建并部署模型（以 Qwen-14B 模型为例）
+
+### 1. WebUI 方式启动模型
+
+Xinference 启动之后，在浏览器中输入: `http://127.0.0.1:9997`，我们可以访问到本地 Xinference 的 Web UI。
+
+打开“Launch Model”标签，搜索到 qwen-chat，选择模型启动的相关参数，然后点击模型卡片左下方的小火箭🚀按钮，就可以部署该模型到 Xinference。 默认 Model UID 是 qwen-chat（后续通过将通过这个 ID 来访问模型）。
+
+![](/imgs/xinference-launch-model.png)
+
+当你第一次启动 Qwen 模型时，Xinference 会从 HuggingFace 下载模型参数，大概需要几分钟的时间。Xinference 将模型文件缓存在本地，这样之后启动时就不需要重新下载了。 Xinference 还支持从其他模型站点下载模型文件，例如 [modelscope](https://inference.readthedocs.io/en/latest/models/sources/sources.html)。
+
+### 2. 命令行方式启动模型
+
+我们也可以使用 Xinference 的命令行工具来启动模型，默认 Model UID 是 qwen-chat（后续通过将通过这个 ID 来访问模型）。
+
+```bash
+xinference launch -n qwen-chat -s 14 -f pytorch
+```
+
+除了 WebUI 和命令行工具， Xinference 还提供了 Python SDK 和 RESTful API 等多种交互方式， 更多用法可以参考 [Xinference 官方文档](https://inference.readthedocs.io/en/latest/getting_started/index.html)。
+
+## 将本地模型接入 One API
+
+One API 的部署和接入请参考[这里](/docs/development/one-api/)。
+
+为 qwen1.5-chat 添加一个渠道，这里的 Base URL 需要填 Xinference 服务的端点，并且注册 qwen-chat (模型的 UID) 。
+
+![](/imgs/one-api-add-xinference-models.jpg)
+
+可以使用以下命令进行测试：
+
+```bash
+curl --location --request POST 'https://<oneapi_url>/v1/chat/completions' \
+--header 'Authorization: Bearer <oneapi_token>' \
+--header 'Content-Type: application/json' \
+--data-raw '{
+  "model": "qwen-chat",
+  "messages": [{"role": "user", "content": "Hello!"}]
+}'
+```
+
+将 <oneapi_url> 替换为你的 One API 地址，<oneapi_token> 替换为你的 One API 令牌。model 为刚刚在 One API 填写的自定义模型。
+
+## 将本地模型接入 FastGPT
+
+修改 FastGPT 的 `config.json` 配置文件，其中 chatModels（对话模型）用于聊天对话，cqModels（问题分类模型）用来对问题进行分类，extractModels（内容提取模型）则用来进行工具选择。我们分别在 chatModels、cqModels 和 extractModels 中加入 qwen-chat 模型：
+
+```json
+{
+  "chatModels": [
+      ...
+      {
+        "model": "qwen-chat",
+        "name": "Qwen",
+        "maxContext": 2048,
+        "maxResponse": 2048, 
+        "quoteMaxToken": 2000,
+        "maxTemperature": 1, 
+        "vision": false, 
+        "defaultSystemChatPrompt": "" 
+      }
+      ...
+  ],
+  "cqModels": [
+      ...
+      {
+        "model": "qwen-chat",
+        "name": "Qwen",
+        "maxContext": 2048,
+        "maxResponse": 2048,
+        "inputPrice": 0,
+        "outputPrice": 0,
+        "toolChoice": true,
+        "functionPrompt": ""
+      }
+      ...
+  ],    
+  "extractModels": [
+      ...
+      {
+        "model": "qwen-chat",
+        "name": "Qwen",
+        "maxContext": 2048,
+        "maxResponse": 2048,
+        "inputPrice": 0,
+        "outputPrice": 0,
+        "toolChoice": true,
+        "functionPrompt": ""
+      }
+      ...
+  ]
+}
+```
+
+然后重启 FastGPT 就可以在应用配置中选择 Qwen 模型进行对话：
+
+![](/imgs/fastgpt-list-models.png)
+
+---
+
+ 参考：[FastGPT + Xinference：一站式本地 LLM 私有化部署和应用开发](https://xorbits.cn/blogs/fastgpt-weather-chat)
+
+