Yuque dataset baseurl (#4742)

* Yuque dataset baseurl (#4512)

* feat: 增加API数据集功能和国际化支持

* 在apiDataset.d.ts中添加uuid、slug、parent_uuid和children字段
* 更新英文、简体中文和繁体中文的dataset.json文件，增加多条提示信息
* 在ApiDatasetForm组件中实现目录选择功能，支持获取Yuque路径
* 新增BaseUrlSelector组件，用于选择根目录
* 实现getpath API，支持根据Yuque服务器获取路径
* 更新相关API调用，确保兼容性和功能完整性

* feat: 更新Yuque服务器的baseUrl处理逻辑

* 在apiDataset.d.ts中将YuqueServer的baseUrl属性改为必填
* 更新ApiDatasetForm组件，调整baseUrl的状态管理和路径加载逻辑
* 新增getcatalog API以支持获取数据集目录
* 修改相关API调用，确保baseUrl的正确传递和使用
* 优化路径返回值为中文“根目录”

* feat: 更新数据集API调用逻辑

* 将getFeishuAndYuqueDatasetFileList替换为getProApiDatasetFileListRequest，统一API调用方式
* 更新相关文件以确保新API的正确使用
* 优化代码结构，提高可读性和维护性

* 清理代码：移除ApiDatasetForm、BaseUrlSelector和相关API中的调试日志

* 删除不必要的console.log语句，提升代码整洁性
* 确保API逻辑的清晰性，避免冗余输出

* 更新数据集相关类型和API逻辑

- 在apiDataset.d.ts中添加ApiDatasetDetailResponse类型，移除不必要的字段。
- 在proApi.ts中新增DETAIL操作类型及相关参数类型。
- 修改ApiDatasetForm.tsx以支持新的API调用逻辑，统一路径获取方式。
- 更新BaseUrlSelector组件，简化目录选择逻辑。
- 优化getpath.ts和getcatalog.ts中的路径处理逻辑，确保API调用的一致性和正确性。
- 清理不必要的代码和注释，提高代码可读性。

* 清理ApiDatasetForm组件中的调试日志，移除console.log语句以提升代码整洁性和可读性。

* fix

* updata apidatasetform

* remove console

* updata

* updata

* updata editapiservermodal

* updata i18n

* add type

* update getpath

* add type

* perf: yuque dataset baseurl

* perf: remove rerank records

* fix: ts

---------

Co-authored-by: dreamer6680 <1468683855@qq.com>

packages/service/core/dataset/apiDataset/proApi.ts

@@ -4,7 +4,8 @@ import { FeishuServer, YuqueServer } from '@fastgpt/global/core/dataset/apiDatas
 export enum ProApiDatasetOperationTypeEnum {
   LIST = 'list',
   READ = 'read',
-  CONTENT = 'content'
+  CONTENT = 'content',
+  DETAIL = 'detail'
 }
 
 export type ProApiDatasetCommonParams = {
@@ -23,3 +24,7 @@ export type GetProApiDatasetFileContentParams = ProApiDatasetCommonParams & {
 export type GetProApiDatasetFilePreviewUrlParams = ProApiDatasetCommonParams & {
   apiFileId: string;
 };
+
+export type GetProApiDatasetFileDetailParams = ProApiDatasetCommonParams & {
+  apiFileId: string;
+};

packages/service/core/dataset/controller.ts

@@ -9,8 +9,6 @@ import { deleteDatasetDataVector } from '../../common/vectorDB/controller';
 import { MongoDatasetDataText } from './data/dataTextSchema';
 import { DatasetErrEnum } from '@fastgpt/global/common/error/code/dataset';
 import { retryFn } from '@fastgpt/global/common/system/utils';
-import { removeWebsiteSyncJobScheduler } from './websiteSync';
-import { DatasetTypeEnum } from '@fastgpt/global/core/dataset/constants';
 
 /* ============= dataset ========== */
 /* find all datasetId by top datasetId */

packages/service/core/dataset/schema.ts

@@ -109,15 +109,9 @@ const DatasetSchema = new Schema({
     type: Boolean,
     default: true
   },
-  apiServer: {
-    type: Object
-  },
-  feishuServer: {
-    type: Object
-  },
-  yuqueServer: {
-    type: Object
-  },
+  apiServer: Object,
+  feishuServer: Object,
+  yuqueServer: Object,
 
   // abandoned
   autoSync: Boolean,

packages/service/core/workflow/dispatch/dataset/search.ts

@@ -181,12 +181,14 @@ export async function dispatchDatasetSearch(
     inputTokens: reRankInputTokens,
     modelType: ModelTypeEnum.rerank
   });
-  nodeDispatchUsages.push({
-    totalPoints: reRankTotalPoints,
-    moduleName: node.name,
-    model: reRankModelName,
-    inputTokens: reRankInputTokens
-  });
+  if (usingReRank) {
+    nodeDispatchUsages.push({
+      totalPoints: reRankTotalPoints,
+      moduleName: node.name,
+      model: reRankModelName,
+      inputTokens: reRankInputTokens
+    });
+  }
   // Query extension
   (() => {
     if (queryExtensionResult) {