Release 0.0.13

作者大大，pr一个github action实现自动打包docker镜像

.github/workflows/docker-image.yml

@@ -0,0 +1,46 @@
+name: Build and Push Docker Image
+
+on:
+  release:
+    types: [created]
+  workflow_dispatch:
+    inputs:
+      tag:
+        description: 'Tag Name'
+        required: true
+
+jobs:
+  build-and-push:
+    runs-on: ubuntu-latest
+    steps:
+    - uses: actions/checkout@v2
+
+    - name: Set up Docker Buildx
+      uses: docker/setup-buildx-action@v1
+
+    - name: Login to Docker Hub
+      uses: docker/login-action@v1
+      with:
+        username: ${{ secrets.DOCKERHUB_USERNAME }}
+        password: ${{ secrets.DOCKERHUB_PASSWORD }}
+
+    - name: Set tag name
+      id: tag_name
+      run: |
+        if [ "${{ github.event_name }}" = "release" ]; then
+          echo "::set-output name=tag::${GITHUB_REF#refs/tags/}"
+        elif [ "${{ github.event_name }}" = "workflow_dispatch" ]; then
+          echo "::set-output name=tag::${{ github.event.inputs.tag }}"
+        fi
+
+    - name: Build and push Docker image with Release tag
+      uses: docker/build-push-action@v2
+      with:
+        context: .
+        file: ./Dockerfile
+        push: true
+        tags: |
+          vinlic/kimi-free-api:${{ steps.tag_name.outputs.tag }}
+          vinlic/kimi-free-api:latest
+        platforms: linux/amd64,linux/arm64
+        build-args: TARGETPLATFORM=${{ matrix.platform }}

README.md

@@ -5,7 +5,7 @@
 ![](https://img.shields.io/github/forks/llm-red-team/kimi-free-api.svg)
 ![](https://img.shields.io/docker/pulls/vinlic/kimi-free-api.svg)
 
-支持高速流式输出、支持多轮对话、支持联网搜索、支持长文档解读、支持图像解析，零配置部署，自动清理会话痕迹。
+支持高速流式输出、支持多轮对话、支持联网搜索、支持长文档解读、支持图像解析，零配置部署，多路token支持，自动清理会话痕迹。
 
 与ChatGPT接口完全兼容。
 
@@ -15,6 +15,7 @@
 * [在线体验](#在线体验)
 * [效果示例](#效果示例)
 * [接入准备](#接入准备)
+  * [多账号接入](#多账号接入)
 * [Docker部署](#Docker部署)
   * [Docker-compose部署](#Docker-compose部署)
 * [原生部署](#原生部署)
@@ -22,14 +23,16 @@
   * [对话补全](#对话补全)
   * [文档解读](#文档解读)
   * [图像解析](#图像解析)
+* [注意事项](#注意事项)
+  * [Nginx反代优化](#Nginx反代优化)
 
 ## 声明
 
-仅限自用，禁止对外提供服务，避免对官方造成服务压力，否则风险自担！
+仅限自用，禁止对外提供服务或商用，避免对官方造成服务压力，否则风险自担！
 
-仅限自用，禁止对外提供服务，避免对官方造成服务压力，否则风险自担！
+仅限自用，禁止对外提供服务或商用，避免对官方造成服务压力，否则风险自担！
 
-仅限自用，禁止对外提供服务，避免对官方造成服务压力，否则风险自担！
+仅限自用，禁止对外提供服务或商用，避免对官方造成服务压力，否则风险自担！
 
 ## 在线体验
 
@@ -59,14 +62,30 @@ https://udify.app/chat/Po0F6BMJ15q5vu2P
 
 ![图像解析](./doc/example-3.png)
 
+### 响应流畅度一致
+
+![响应流畅度一致](https://github.com/LLM-Red-Team/kimi-free-api/assets/20235341/48c7ec00-2b03-46c4-95d0-452d3075219b)
+
+### 100线程并发测试
+
+![100线程并发测试](./doc/example-7.jpg)
+
 ## 接入准备
 
 从 [kimi.moonshot.cn](https://kimi.moonshot.cn) 获取refresh_token
 
-进入kimi随便发起一个对话，然后F12打开开发者工具，从Application > Local Storage中找到refresh_token的值，这将作为Authorization的Bearer KEY值。
+进入kimi随便发起一个对话，然后F12打开开发者工具，从Application > Local Storage中找到refresh_token的值，这将作为Authorization的Bearer Token值：`Authorization: Bearer TOKEN`
 
 ![example0](./doc/example-0.png)
 
+### 多账号接入
+
+目前kimi限制普通账号每3小时内只能进行30轮长文本的问答，你可以通过提供多个账号的refresh_token并使用`,`拼接提供：
+
+`Authorization: Bearer TOKEN1,TOKEN2,TOKEN3`
+
+每次请求服务会从中挑选一个。
+
 ## Docker部署
 
 请准备一台具有公网IP的服务器并将8000端口开放。
@@ -342,3 +361,21 @@ Authorization: Bearer [refresh_token]
 }
 ```
 
+## 注意事项
+
+### Nginx反代优化
+
+如果您正在使用Nginx反向代理kimi-free-api，请添加以下配置项优化流的输出效果，优化体验感。
+
+```nginx
+# 关闭代理缓冲。当设置为off时，Nginx会立即将客户端请求发送到后端服务器，并立即将从后端服务器接收到的响应发送回客户端。
+proxy_buffering off;
+# 启用分块传输编码。分块传输编码允许服务器为动态生成的内容分块发送数据，而不需要预先知道内容的大小。
+chunked_transfer_encoding on;
+# 开启TCP_NOPUSH，这告诉Nginx在数据包发送到客户端之前，尽可能地发送数据。这通常在sendfile使用时配合使用，可以提高网络效率。
+tcp_nopush on;
+# 开启TCP_NODELAY，这告诉Nginx不延迟发送数据，立即发送小数据包。在某些情况下，这可以减少网络的延迟。
+tcp_nodelay on;
+# 设置保持连接的超时时间，这里设置为120秒。如果在这段时间内，客户端和服务器之间没有进一步的通信，连接将被关闭。
+keepalive_timeout 120;
+```

package.json

@@ -1,6 +1,6 @@
 {
   "name": "kimi-free-api",
-  "version": "0.0.10",
+  "version": "0.0.13",
   "description": "Kimi Free API Server",
   "type": "module",
   "main": "dist/index.js",

src/api/consts/exceptions.ts

@@ -4,5 +4,6 @@ export default {
     API_REQUEST_FAILED: [-2001, '请求失败'],
     API_TOKEN_EXPIRES: [-2002, 'Token已失效'],
     API_FILE_URL_INVALID: [-2003, '远程文件URL非法'],
-    API_FILE_EXECEEDS_SIZE: [-2004, '远程文件超出大小']
+    API_FILE_EXECEEDS_SIZE: [-2004, '远程文件超出大小'],
+    API_CHAT_STREAM_PUSHING: [-2005, '已有对话流正在输出']
 }

src/api/controllers/chat.ts

@@ -14,6 +14,10 @@ import util from '@/lib/util.ts';
 const MODEL_NAME = 'kimi';
 // access_token有效期
 const ACCESS_TOKEN_EXPIRES = 300;
+// 最大重试次数
+const MAX_RETRY_COUNT = 3;
+// 重试延迟
+const RETRY_DELAY = 5000;
 // 伪装headers
 const FAKE_HEADERS = {
   'Accept': '*/*',
@@ -163,43 +167,59 @@ async function removeConversation(convId: string, refreshToken: string) {
  * @param messages 参考gpt系列消息格式，多轮对话请完整提供上下文
  * @param refreshToken 用于刷新access_token的refresh_token
  * @param useSearch 是否开启联网搜索
+ * @param retryCount 重试次数
  */
-async function createCompletion(messages: any[], refreshToken: string, useSearch = true) {
-  logger.info(messages);
+async function createCompletion(messages: any[], refreshToken: string, useSearch = true, retryCount = 0) {
+  return (async () => {
+    logger.info(messages);
 
-  // 提取引用文件URL并上传kimi获得引用的文件ID列表
-  const refFileUrls = extractRefFileUrls(messages);
-  const refs = refFileUrls.length ? await Promise.all(refFileUrls.map(fileUrl => uploadFile(fileUrl, refreshToken))) : [];
+    // 提取引用文件URL并上传kimi获得引用的文件ID列表
+    const refFileUrls = extractRefFileUrls(messages);
+    const refs = refFileUrls.length ? await Promise.all(refFileUrls.map(fileUrl => uploadFile(fileUrl, refreshToken))) : [];
 
-  // 创建会话
-  const convId = await createConversation(`cmpl-${util.uuid(false)}`, refreshToken);
+    // 创建会话
+    const convId = await createConversation(`cmpl-${util.uuid(false)}`, refreshToken);
 
-  // 请求流
-  const token = await acquireToken(refreshToken);
-  const result = await axios.post(`https://kimi.moonshot.cn/api/chat/${convId}/completion/stream`, {
-    messages: messagesPrepare(messages),
-    refs,
-    use_search: useSearch
-  }, {
-    headers: {
-      Authorization: `Bearer ${token}`,
-      Referer: `https://kimi.moonshot.cn/chat/${convId}`,
-      ...FAKE_HEADERS
-    },
-    // 120秒超时
-    timeout: 120000,
-    validateStatus: () => true,
-    responseType: 'stream'
-  });
+    // 请求流
+    const token = await acquireToken(refreshToken);
+    const result = await axios.post(`https://kimi.moonshot.cn/api/chat/${convId}/completion/stream`, {
+      messages: messagesPrepare(messages),
+      refs,
+      use_search: useSearch
+    }, {
+      headers: {
+        Authorization: `Bearer ${token}`,
+        Referer: `https://kimi.moonshot.cn/chat/${convId}`,
+        ...FAKE_HEADERS
+      },
+      // 120秒超时
+      timeout: 120000,
+      validateStatus: () => true,
+      responseType: 'stream'
+    });
 
-  // 接收流为输出文本
-  const answer = await receiveStream(convId, result.data);
+    const streamStartTime = util.timestamp();
+    // 接收流为输出文本
+    const answer = await receiveStream(convId, result.data);
+    logger.success(`Stream has completed transfer ${util.timestamp() - streamStartTime}ms`);
 
-  // 异步移除会话，如果消息不合规，此操作可能会抛出数据库错误异常，请忽略
-  removeConversation(convId, refreshToken)
-    .catch(err => console.error(err));
+    // 异步移除会话，如果消息不合规，此操作可能会抛出数据库错误异常，请忽略
+    removeConversation(convId, refreshToken)
+      .catch(err => console.error(err));
 
-  return answer;
+    return answer;
+  })()
+    .catch(err => {
+      if(retryCount < MAX_RETRY_COUNT) {
+        logger.error(`Stream response error: ${err.message}`);
+        logger.warn(`Try again after ${RETRY_DELAY / 1000}s...`);
+        return (async () => {
+          await new Promise(resolve => setTimeout(resolve, RETRY_DELAY));
+          return createCompletion(messages, refreshToken, useSearch, retryCount + 1);
+        })();
+      }
+      throw err;
+    });
 }
 
 /**
@@ -208,42 +228,56 @@ async function createCompletion(messages: any[], refreshToken: string, useSearch
  * @param messages 参考gpt系列消息格式，多轮对话请完整提供上下文
  * @param refreshToken 用于刷新access_token的refresh_token
  * @param useSearch 是否开启联网搜索
+ * @param retryCount 重试次数
  */
-async function createCompletionStream(messages: any[], refreshToken: string, useSearch = true) {
-  logger.info(messages);
+async function createCompletionStream(messages: any[], refreshToken: string, useSearch = true, retryCount = 0) {
+  return (async () => {
+    logger.info(messages);
 
-  // 提取引用文件URL并上传kimi获得引用的文件ID列表
-  const refFileUrls = extractRefFileUrls(messages);
-  const refs = refFileUrls.length ? await Promise.all(refFileUrls.map(fileUrl => uploadFile(fileUrl, refreshToken))) : [];
+    // 提取引用文件URL并上传kimi获得引用的文件ID列表
+    const refFileUrls = extractRefFileUrls(messages);
+    const refs = refFileUrls.length ? await Promise.all(refFileUrls.map(fileUrl => uploadFile(fileUrl, refreshToken))) : [];
 
-  // 创建会话
-  const convId = await createConversation(`cmpl-${util.uuid(false)}`, refreshToken);
+    // 创建会话
+    const convId = await createConversation(`cmpl-${util.uuid(false)}`, refreshToken);
 
-  // 请求流
-  const token = await acquireToken(refreshToken);
-  const result = await axios.post(`https://kimi.moonshot.cn/api/chat/${convId}/completion/stream`, {
-    messages: messagesPrepare(messages),
-    refs,
-    use_search: useSearch
-  }, {
-    // 120秒超时
-    timeout: 120000,
-    headers: {
-      Authorization: `Bearer ${token}`,
-      Referer: `https://kimi.moonshot.cn/chat/${convId}`,
-      ...FAKE_HEADERS
-    },
-    validateStatus: () => true,
-    responseType: 'stream'
-  });
-
-  // 创建转换流将消息格式转换为gpt兼容格式
-  return createTransStream(convId, result.data, () => {
-    logger.success('Stream has completed transfer');
-    // 流传输结束后异步移除会话，如果消息不合规，此操作可能会抛出数据库错误异常，请忽略
-    removeConversation(convId, refreshToken)
-      .catch(err => console.error(err));
-  });
+    // 请求流
+    const token = await acquireToken(refreshToken);
+    const result = await axios.post(`https://kimi.moonshot.cn/api/chat/${convId}/completion/stream`, {
+      messages: messagesPrepare(messages),
+      refs,
+      use_search: useSearch
+    }, {
+      // 120秒超时
+      timeout: 120000,
+      headers: {
+        Authorization: `Bearer ${token}`,
+        Referer: `https://kimi.moonshot.cn/chat/${convId}`,
+        ...FAKE_HEADERS
+      },
+      validateStatus: () => true,
+      responseType: 'stream'
+    });
+    const streamStartTime = util.timestamp();
+    // 创建转换流将消息格式转换为gpt兼容格式
+    return createTransStream(convId, result.data, () => {
+      logger.success(`Stream has completed transfer ${util.timestamp() - streamStartTime}ms`);
+      // 流传输结束后异步移除会话，如果消息不合规，此操作可能会抛出数据库错误异常，请忽略
+      removeConversation(convId, refreshToken)
+        .catch(err => console.error(err));
+    });
+  })()
+    .catch(err => {
+      if(retryCount < MAX_RETRY_COUNT) {
+        logger.error(`Stream response error: ${err.message}`);
+        logger.warn(`Try again after ${RETRY_DELAY / 1000}s...`);
+        return (async () => {
+          await new Promise(resolve => setTimeout(resolve, RETRY_DELAY));
+          return createCompletionStream(messages, refreshToken, useSearch, retryCount + 1);
+        })();
+      }
+      throw err;
+    });
 }
 
 /**
@@ -459,6 +493,8 @@ function checkResult(result: AxiosResponse, refreshToken: string) {
     return result.data;
   if (error_type == 'auth.token.invalid')
     accessTokenMap.delete(refreshToken);
+  if (error_type == 'chat.user_stream_pushing')
+    throw new APIException(EX.API_CHAT_STREAM_PUSHING);
   throw new APIException(EX.API_REQUEST_FAILED, `[请求kimi失败]: ${message}`);
 }
 
@@ -617,8 +653,18 @@ function createTransStream(convId: string, stream: any, endCallback?: Function)
   return transStream;
 }
 
+/**
+ * Token切分
+ * 
+ * @param authorization 认证字符串
+ */
+function tokenSplit(authorization: string) {
+  return authorization.replace('Bearer ', '').split(',');
+}
+
 export default {
   createConversation,
   createCompletion,
-  createCompletionStream
+  createCompletionStream,
+  tokenSplit
 };

src/api/routes/chat.ts

@@ -15,17 +15,19 @@ export default {
             request
                 .validate('body.messages', _.isArray)
                 .validate('headers.authorization', _.isString)
-            const token = request.headers.authorization;
-            const refreshToken = token.replace('Bearer ', '');
+            // refresh_token切分
+            const tokens = chat.tokenSplit(request.headers.authorization);
+            // 随机挑选一个refresh_token
+            const token = _.sample(tokens);
             const messages =  request.body.messages;
             if (request.body.stream) {
-                const stream = await chat.createCompletionStream(request.body.messages, refreshToken, request.body.use_search);
+                const stream = await chat.createCompletionStream(request.body.messages, token, request.body.use_search);
                 return new Response(stream, {
                     type: "text/event-stream"
                 });
             }
             else
-                return await chat.createCompletion(messages, refreshToken, request.body.use_search);
+                return await chat.createCompletion(messages, token, request.body.use_search);
         }
 
     }

src/lib/configs/system-config.ts

@@ -44,12 +44,12 @@ export class SystemConfig {
         this.requestBody = Object.assign(requestBody || {}, {
             enableTypes: ['json', 'form', 'text', 'xml'],
             encoding: 'utf-8',
-            formLimit: '10mb',
-            jsonLimit: '10mb',
-            textLimit: '10mb',
-            xmlLimit: '10mb',
+            formLimit: '100mb',
+            jsonLimit: '100mb',
+            textLimit: '100mb',
+            xmlLimit: '100mb',
             formidable: {
-                maxFileSize: '30mb'
+                maxFileSize: '100mb'
             },
             multipart: true,
             parsedMethods: ['POST', 'PUT', 'PATCH']

src/lib/exceptions/Exception.ts

@@ -29,6 +29,11 @@ export default class Exception extends Error {
         this.errmsg = _errmsg || errmsg;
     }
 
+    compare(exception: (string | number)[]) {
+        const [errcode] = exception as [number, string];
+        return this.errcode == errcode;
+    }
+
     setHTTPStatusCode(value: number) {
         this.httpStatusCode = value;
         return this;