docs

docSite/docs/develop/deploy/docker.md

@@ -0,0 +1,180 @@
+# docker-compose 快速部署
+
+## 一、预先准备
+
+### 准备好代理环境（国外服务器可忽略）
+
+确保可访问到 OpenAI，方案可参考：[sealos nginx 中转](../proxy/sealos)
+
+### OneAPI (可选，需要多模型和 key 轮询时使用)
+
+推荐使用 [one-api](https://github.com/songquanpeng/one-api) 项目来管理 key 池，兼容 openai 、微软和国内主流模型等。
+
+部署可以看该项目的 [README.md](https://github.com/songquanpeng/one-api)，也可以看 [在 Sealos 1 分钟部署 one-api](../oneapi)
+
+## 二、安装 docker 和 docker-compose
+
+这个不同系统略有区别，百度安装下。验证安装成功后进行下一步。下面给出 centos 一个例子：
+
+```bash
+# 安装docker
+curl -L https://get.daocloud.io/docker | sh
+sudo systemctl start docker
+# 安装 docker-compose
+curl -L https://github.com/docker/compose/releases/download/1.23.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
+sudo chmod +x /usr/local/bin/docker-compose
+# 验证安装
+docker -v
+docker-compose -v
+```
+
+## 三、创建 docker-compose.yml 文件
+
+```yml
+# 非 host 版本, 不使用本机代理
+version: '3.3'
+services:
+  pg:
+    image: ghcr.io/c121914yu/fastgpt:latest # git
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.4.2 # 阿里云
+    container_name: pg
+    restart: always
+    ports: # 生产环境建议不要暴露
+      - 5432:5432
+    networks:
+      - fastgpt
+    environment:
+      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
+      - POSTGRES_USER=username
+      - POSTGRES_PASSWORD=password
+      - POSTGRES_DB=postgres
+    volumes:
+      - ./pg/data:/var/lib/postgresql/data
+  mongo:
+    image: mongo:5.0.18
+    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
+    container_name: mongo
+    restart: always
+    ports: # 生产环境建议不要暴露
+      - 27017:27017
+    networks:
+      - fastgpt
+    environment:
+      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
+      - MONGO_INITDB_ROOT_USERNAME=username
+      - MONGO_INITDB_ROOT_PASSWORD=password
+    volumes:
+      - ./mongo/data:/data/db
+  fastgpt:
+    container_name: fastgpt
+    # image: c121914yu/fast-gpt:latest # docker hub
+    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云
+    ports:
+      - 3000:3000
+    networks:
+      - fastgpt
+    depends_on:
+      - mongo
+      - pg
+    restart: always
+    environment:
+      - DEFAULT_ROOT_PSW=1234
+      - DB_MAX_LINK=5 # database max link
+      # token加密凭证（随便填，作为登录凭证）
+      - TOKEN_KEY=any
+      # root key, 最高权限，可以内部接口互相调用
+      - ROOT_KEY=root_key
+      # mongo 配置，不需要改
+      - MONGODB_URI=mongodb://username:password@mongo:27017/?authSource=admin
+      - MONGODB_NAME=fastgpt
+      # pg配置.
+      - PG_HOST=pg
+      - PG_PORT=5432
+      - PG_USER=username
+      - PG_PASSWORD=password
+      - PG_DB_NAME=postgres
+      # 用了中转的话，需要修改这个变量
+      - OPENAI_BASE_URL=https://api.openai.com/v1
+      # 用了 ONEAPI 则填写该地址
+      # - ONEAPI_URL=https://xxxx.cloud.sealos.io/v1
+      # OpenAI 的 key 或者 ONEAPI 的key，填了 ONEAPI_URL 则填写 ONEAPI 的 key
+      - CHAT_API_KEY=sk-xxxx
+networks:
+  fastgpt:
+```
+
+```yml
+# host 版本, 不推荐。
+version: '3.3'
+services:
+pg:
+image: ankane/pgvector:v0.4.2 # dockerhub
+# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.4.2 # 阿里云
+container_name: pg
+restart: always
+ports: # 生产环境建议不要暴露
+    - 5432:5432
+environment:
+    # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
+    - POSTGRES_USER=username
+    - POSTGRES_PASSWORD=password
+    - POSTGRES_DB=postgres
+volumes:
+    - ./pg/data:/var/lib/postgresql/data
+mongo:
+image: mongo:5.0.18
+# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
+container_name: mongo
+restart: always
+ports: # 生产环境建议不要暴露
+    - 27017:27017
+environment:
+    # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
+    - MONGO_INITDB_ROOT_USERNAME=username
+    - MONGO_INITDB_ROOT_PASSWORD=password
+volumes:
+    - ./mongo/data:/data/db
+    - ./mongo/logs:/var/log/mongodb
+fastgpt:
+# image: ghcr.io/c121914yu/fastgpt:latest # github
+# image: c121914yu/fast-gpt:latest # docker hub
+image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云
+network_mode: host
+restart: always
+container_name: fastgpt
+environment: # 可选的变量，不需要的话需要去掉
+    - DEFAULT_ROOT_PSW=1234
+    - DB_MAX_LINK=5 # database max link
+    # token加密凭证（随便填，作为登录凭证）
+    - TOKEN_KEY=any
+    # root key, 最高权限，可以内部接口互相调用
+    - ROOT_KEY=root_key
+    # mongo 配置，不需要改
+    - MONGODB_URI=mongodb://username:password@0.0.0.0:27017/?authSource=admin
+    - MONGODB_NAME=fastgpt
+    # pg 配置
+    - PG_HOST=0.0.0.0
+    - PG_PORT=5432
+    - PG_USER=username
+    - PG_PASSWORD=password
+    - PG_DB_NAME=postgres
+    # 用了中转的话，需要修改这个变量
+    - OPENAI_BASE_URL=https://api.openai.com/v1
+    # 用了 ONEAPI 则填写该地址
+    # - ONEAPI_URL=https://xxxx.cloud.sealos.io/v1
+    # OpenAI 的 key 或者 ONEAPI 的key，填了 ONEAPI_URL 则填写 ONEAPI 的 key
+    - CHAT_API_KEY=sk-xxxx
+```
+
+## 四、运行 docker-compose
+
+```bash
+# 在 docker-compose.yml 同级目录下执行
+docker-compose up -d
+```
+
+## 五、访问
+
+如果需要域名访问，自行安装 Nginx。目前可以通过: `ip:3000` 直接访问(注意防火墙)。登录用户名为 root，密码为刚刚环境变量里设置的 `DEFAULT_ROOT_PSW`
+
+## 一些问题

docSite/docs/develop/deploy/mac.md

@@ -0,0 +1,101 @@
+# Mac 上部署可能遇到的问题(旧版)
+
+### 前置条件
+
+1、可以 curl api.openai.com
+
+2、有 openai key
+
+3、有邮箱 MAILE_CODE
+
+4、有 docker
+
+```
+docker -v
+```
+
+5、有 pnpm ，可以使用`brew install pnpm`安装
+
+6、需要创建一个放置 pg 和 mongo 数据的文件夹，这里创建在`~/fastgpt`目录中,里面有`pg` 和`mongo `两个文件夹
+
+```
+➜  fastgpt pwd
+/Users/jie/fastgpt
+➜  fastgpt ls
+mongo pg
+```
+
+### docker 部署方式
+
+这种方式主要是为了方便调试，可以使用`pnpm dev ` 运行 fastgpt 项目
+
+**1、.env.local 文件**
+
+```
+# proxy
+AXIOS_PROXY_HOST=127.0.0.1
+AXIOS_PROXY_PORT_FAST=7890
+AXIOS_PROXY_PORT_NORMAL=7890
+# email
+MY_MAIL= {Your Mail}
+MAILE_CODE={Yoir Mail code}
+# ali ems
+aliAccessKeyId=xxx
+aliAccessKeySecret=xxx
+aliSignName=xxx
+aliTemplateCode=SMS_xxx
+# token
+TOKEN_KEY=sswada
+# 使用 oneapi
+ONEAPI_URL=[https://api.xyz.com/v1](https://xxxxx.cloud.sealos.io/v1)
+ONEAPI_KEY=sk-xxxxxx
+# openai
+OPENAIKEY=sk-xxx # 对话用的key
+OPENAI_TRAINING_KEY=sk-xxx # 训练用的key
+# db
+MONGODB_URI=mongodb://username:password@0.0.0.0:27017/test?authSource=admin
+PG_HOST=0.0.0.0
+PG_PORT=8100
+PG_USER=xxx
+PG_PASSWORD=xxx
+PG_DB_NAME=fastgpt
+```
+
+**2、部署 mongo**
+
+```
+docker run --name mongo -p 27017:27017 -e MONGO_INITDB_ROOT_USERNAME=username -e MONGO_INITDB_ROOT_PASSWORD=password -v ~/fastgpt/mongo/data:/data/db -d mongo:4.0.1
+```
+
+**3、部署 pgsql**
+
+```
+docker run -it --name pg -e "POSTGRES_DB=fastgpt" -e "POSTGRES_PASSWORD=xxx" -e POSTGRES_USER=xxx -p 8100:5432 -v ~/fastgpt/pg/data:/var/lib/postgresql/data -d octoberlan/pgvector:v0.4.1
+```
+
+进 pgsql 容器运行
+
+```
+psql -v ON_ERROR_STOP=1 --username "$POSTGRES_USER" --dbname "$POSTGRES_DB" <<-EOSQL
+
+CREATE EXTENSION IF NOT EXISTS vector;
+-- init table
+CREATE TABLE IF NOT EXISTS modeldata (
+    id BIGSERIAL PRIMARY KEY,
+    vector VECTOR(1536) NOT NULL,
+    user_id VARCHAR(50) NOT NULL,
+    kb_id VARCHAR(50) NOT NULL,
+    source VARCHAR(100),
+    q TEXT NOT NULL,
+    a TEXT NOT NULL
+);
+-- 索引设置，按需取
+-- CREATE INDEX IF NOT EXISTS modeldata_userId_index ON modeldata USING HASH (user_id);
+-- CREATE INDEX IF NOT EXISTS modeldata_kbId_index ON modeldata USING HASH (kb_id);
+-- CREATE INDEX IF NOT EXISTS idx_model_data_md5_q_a_user_id_kb_id ON modeldata (md5(q), md5(a), user_id, kb_id);
+-- CREATE INDEX modeldata_id_desc_idx ON modeldata (id DESC);
+-- vector 索引，可以参考 [pg vector](https://github.com/pgvector/pgvector) 去配置，根据数据量去配置
+EOSQL
+```
+
+4、**最后在 FASTGPT 项目里面运行 pnpm dev 运行项目，然后进入 localhost:3000 看项目是否跑起来了**

docSite/docs/develop/deploy/sealos.md

@@ -0,0 +1,7 @@
+---
+sidebar_position: 1
+---
+
+# Sealos 一键部署
+
+222

docSite/docs/develop/dev.md

@@ -0,0 +1,37 @@
+# 本地开发
+
+第一次开发，需要先部署数据库，建议本地开发可以随便找一台 2c2g 的轻量小数据库实践。数据库部署教程：[Docker 快速部署](../deploy/docker.md)
+
+client 目录下为 FastGPT 核心代码。NextJS 框架前后端在一起的，api 服务位于 src/pages/api 内。
+
+## 初始配置
+
+**1. 环境变量**
+
+复制.env.template 文件，生成一个.env.local 环境变量文件夹，修改.env.local 里内容才是有效的变量。变量说明见 .env.template
+
+**2. config 配置文件**
+
+复制 data/config.json 文件，生成一个 data/config.local.json 配置文件。
+
+这个文件大部分时候不需要修改。只需要关注 SystemParams 里的参数：
+
+```
+"vectorMaxProcess": 向量生成最大进程，根据数据库和 key 的并发数来决定，通常单个 120 号，2c4g 服务器设置10~15。
+"qaMaxProcess": QA 生成最大进程
+"pgIvfflatProbe": PG vector 搜索探针，没有添加 vector 索引时可忽略。
+```
+
+## 运行
+
+```
+cd client
+pnpm i
+pnpm dev
+```
+
+## 镜像打包
+
+```bash
+docker build -t c121914yu/fastgpt .
+```

docSite/docs/develop/oneapi.md

@@ -0,0 +1,36 @@
+# 在 Sealos 1 分钟部署 one-api
+
+## 1. 进入 Sealos 公有云
+
+https://cloud.sealos.io/
+
+## 2. 打开 AppLaunchpad(应用管理) 工具
+
+![step1](./imgs/step1.png)
+
+## 3. 点击创建新应用
+
+## 4. 填写对应参数
+
+镜像：ghcr.io/songquanpeng/one-api:latest
+
+![step2](./imgs/step2.png)
+打开外网访问开关后，Sealos 会自动分配一个可访问的地址，不需要自己配置。
+
+![step3](./imgs/step3.png)
+填写完参数后，点击右上角部署即可。
+
+## 5. 访问
+
+点击 Sealos 提供的外网访问地址，即可访问 one-api 项目。
+![step3](./imgs/step4.png)
+![step3](./imgs/step5.png)
+
+## 6. 替换 FastGpt 的环境变量
+
+```
+# 下面的地址是 Sealos 提供的，务必写上 v1
+ONEAPI_URL=https://xxxx.cloud.sealos.io/v1
+# 下面的 key 由 one-api 提供
+ONEAPI_KEY=sk-xxxxxx
+```

docSite/docs/develop/proxy/clash.md

@@ -0,0 +1,68 @@
+# 安装 clash 
+
+clash 会在本机启动代理。对应的，你需要配置项目的两个环境变量：
+
+```
+AXIOS_PROXY_HOST=127.0.0.1
+AXIOS_PROXY_PORT=7890
+```
+
+需要注的是，在你的 config.yaml 文件中，最好仅指定 api.openai.com 走代理，其他请求都直连。
+
+**安装clash**
+```bash
+# 下载包
+curl https://glados.rocks/tools/clash-linux.zip -o clash.zip 
+# 解压
+unzip clash.zip
+# 下载终端配置⽂件（改成自己配置文件路径）
+curl https://update.glados-config.com/clash/98980/8f30944/70870/glados-terminal.yaml > config.yaml
+# 赋予运行权限
+chmod +x ./clash-linux-amd64-v1.10.0 
+```
+
+**runClash.sh**
+```sh
+# 记得配置端口变量：
+export ALL_PROXY=socks5://127.0.0.1:7891
+export http_proxy=http://127.0.0.1:7890
+export https_proxy=http://127.0.0.1:7890
+export HTTP_PROXY=http://127.0.0.1:7890
+export HTTPS_PROXY=http://127.0.0.1:7890
+
+# 运行脚本: 删除clash - 到 clash 目录 - 删除缓存 - 执行运行. 会生成一个 nohup.out 文件，可以看到 clash 的 logs
+OLD_PROCESS=$(pgrep clash)
+if [ ! -z "$OLD_PROCESS" ]; then
+  echo "Killing old process: $OLD_PROCESS"
+  kill $OLD_PROCESS
+fi
+sleep 2
+cd  **/clash
+rm -f ./nohup.out || true
+rm -f ./cache.db || true
+nohup ./clash-linux-amd64-v1.10.0  -d ./ &
+echo "Restart clash"
+```
+
+**config.yaml配置例子**
+```yaml
+mixed-port: 7890
+allow-lan: false
+bind-address: '*'
+mode: rule
+log-level: warning
+dns:  
+  enable: true  
+  ipv6: false  
+  nameserver:  
+    - 8.8.8.8
+    - 8.8.4.4 
+  cache-size: 400
+proxies:
+    - 
+proxy-groups:
+  - { name: '♻️ 自动选择', type: url-test,  proxies: [香港V01×1.5], url: 'https://api.openai.com', interval: 3600}
+rules:
+  - 'DOMAIN-SUFFIX,api.openai.com,♻️ 自动选择'
+  - 'MATCH,DIRECT'
+```

docSite/docs/develop/proxy/cloudflare.md

@@ -0,0 +1,46 @@
+# cloudflare 代理配置
+
+[来自 "不做了睡觉" 教程](https://gravel-twister-d32.notion.site/FastGPT-API-ba7bb261d5fd4fd9bbb2f0607dacdc9e)
+
+**workers 配置文件**
+
+```js
+const TELEGRAPH_URL = 'https://api.openai.com';
+
+addEventListener('fetch', (event) => {
+  event.respondWith(handleRequest(event.request));
+});
+
+async function handleRequest(request) {
+  // 安全校验
+  if (request.headers.get('auth') !== 'auth_code') {
+    return new Response('UnAuthorization', { status: 403 });
+  }
+
+  const url = new URL(request.url);
+  url.host = TELEGRAPH_URL.replace(/^https?:\/\//, '');
+
+  const modifiedRequest = new Request(url.toString(), {
+    headers: request.headers,
+    method: request.method,
+    body: request.body,
+    redirect: 'follow'
+  });
+
+  const response = await fetch(modifiedRequest);
+  const modifiedResponse = new Response(response.body, response);
+
+  // 添加允许跨域访问的响应头
+  modifiedResponse.headers.set('Access-Control-Allow-Origin', '*');
+
+  return modifiedResponse;
+}
+```
+
+**对应的环境变量**
+务必别忘了填 v1
+
+```
+OPENAI_BASE_URL=https://xxxxxx/v1
+OPENAI_BASE_URL_AUTH=auth_code
+```

docSite/docs/develop/proxy/nginx.md

@@ -0,0 +1,60 @@
+# nginx 反向代理 openai 接口
+
+如果你有国外的服务器，可以通过配置 nginx 反向代理，转发 openai 相关的请求，从而让国内的服务器可以通过访问该 nginx 去访问 openai 接口。
+
+```conf
+user nginx;
+worker_processes auto;
+worker_rlimit_nofile 51200;
+
+events {
+    worker_connections 1024;
+}
+
+http {
+    resolver 8.8.8.8;
+    proxy_ssl_server_name on;
+
+    access_log off;
+    server_names_hash_bucket_size 512;
+    client_header_buffer_size 32k;
+    large_client_header_buffers 4 32k;
+    client_max_body_size 50M;
+
+    gzip  on;
+    gzip_min_length   1k;
+    gzip_buffers  4 8k;
+    gzip_http_version 1.1;
+    gzip_comp_level 6;
+    gzip_vary on;
+    gzip_types  text/plain application/x-javascript text/css application/javascript application/json application/xml;
+    gzip_disable "MSIE [1-6]\.";
+
+    open_file_cache max=1000 inactive=1d;
+    open_file_cache_valid 30s;
+    open_file_cache_min_uses 8;
+    open_file_cache_errors off;
+
+    server {
+        listen 3999;
+        server_name 你的 ip 地址;
+
+        location ~ /openai/(.*) {
+            proxy_pass https://api.openai.com/$1$is_args$args;
+            proxy_set_header Host api.openai.com;
+            proxy_set_header X-Real-IP $remote_addr;
+            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
+            # 流式响应
+            proxy_set_header Connection '';
+            proxy_http_version 1.1;
+            chunked_transfer_encoding off;
+            proxy_buffering off;
+            proxy_cache off;
+            # 一般响应
+            proxy_buffer_size 128k;
+            proxy_buffers 4 256k;
+            proxy_busy_buffers_size 256k;
+        }
+    }
+}
+```

docSite/docs/develop/proxy/sealos.md

@@ -0,0 +1,102 @@
+---
+sidebar_position: 1
+---
+
+# sealos 部署 nginx 实现中转
+
+## 登录 sealos cloud
+
+[sealos cloud](https://cloud.sealos.io/)
+
+## 一、点击创建应用
+
+打开 App Launchpad -> 新建应用
+
+![step1](./imgs//sealos1.png)  
+![step2](./imgs//sealos2.png)
+
+### 二、填写基本配置
+
+务必开启外网访问，复制下外网访问提供的地址。
+
+![step3](./imgs//sealos3.png)
+
+### 三、添加 configmap 文件
+
+1. 复制下面这段配置文件，注意 `server_name` 后面的内容替换成第二步的外网访问地址。
+
+```
+user nginx;
+worker_processes auto;
+worker_rlimit_nofile 51200;
+
+events {
+    worker_connections 1024;
+}
+
+http {
+    resolver 8.8.8.8;
+    proxy_ssl_server_name on;
+
+    access_log off;
+    server_names_hash_bucket_size 512;
+    client_header_buffer_size 64k;
+    large_client_header_buffers 4 64k;
+    client_max_body_size 50M;
+
+    proxy_connect_timeout       240s;
+    proxy_read_timeout          240s;
+    proxy_buffer_size 128k;
+    proxy_buffers 4 256k;
+
+    server {
+        listen 80;
+        server_name tgohwtdlrmer.cloud.sealos.io; # 这个地方替换成 sealos 提供的内容
+
+        location ~ /openai/(.*) {
+            proxy_pass https://api.openai.com/$1$is_args$args;
+            proxy_set_header Host api.openai.com;
+            proxy_set_header X-Real-IP $remote_addr;
+            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
+            # 如果响应是流式的
+            proxy_set_header Connection '';
+            proxy_http_version 1.1;
+            chunked_transfer_encoding off;
+            proxy_buffering off;
+            proxy_cache off;
+            # 如果响应是一般的
+            proxy_buffer_size 128k;
+            proxy_buffers 4 256k;
+            proxy_busy_buffers_size 256k;
+        }
+    }
+}
+```
+
+2. 点开高级配置
+3. 点击新增 configmap
+4. 文件名写: `/etc/nginx/nginx.conf`
+5. 文件值为刚刚复制的那段代码
+6. 点击确认
+
+![step4](./imgs//sealos4.png)
+
+### 四、部署应用
+
+填写完毕后，点击右上角的 `部署应用`，即可完成。
+
+## 五、修改 FastGpt 环境变量
+
+1. 进入刚刚部署应用的详情，复制外网地址
+
+注意：这是个 API 地址，点击打开是无效的。如需验证，可以访问: 【\*\*\*.close.sealos.io/openai/api】，如果提示 "Invalid URL (GET /api)" 则代表成功。
+
+![step5](./imgs//sealos5.png)
+
+2. 修改环境变量（是 FastGpt 的环境变量，不是 sealos 的）:
+
+```
+OPENAI_BASE_URL=https://tgohwtdlrmer.cloud.sealos.io/openai/v1
+```
+
+**Done!**