feat: dataset quote role support system; fix: adapt o1 model (#2733)

* feat: dataset quote support system role * perf: adapt dataset quote role * fix: adapt o1 model
2025-07-23 05:12:39 +00:00 · 2024-09-18 13:38:50 +08:00
parent 539bc77934
commit 093bfa2134
35 changed files with 582 additions and 268 deletions
--- a/packages/global/core/ai/model.d.ts
+++ b/packages/global/core/ai/model.d.ts
@@ -27,6 +27,7 @@ export type LLMModelItemType = {

  defaultSystemChatPrompt?: string;
  defaultConfig?: Record<string, any>;
+  fieldMap?: Record<string, string>;
 };

 export type VectorModelItemType = {
--- a/packages/global/core/ai/prompt/AIChat.ts
+++ b/packages/global/core/ai/prompt/AIChat.ts
@@ -1,11 +1,16 @@
 import { PromptTemplateItem } from '../type.d';
 import { i18nT } from '../../../../web/i18n/utils';
+
 export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
  {
    title: i18nT('app:template.standard_template'),
    desc: i18nT('app:template.standard_template_des'),
-    value: `{{q}}
-{{a}}`
+    value: `{
+  "sourceName": "{{source}}",
+  "updateTime": "{{updateTime}}",
+  "content": "{{q}}\n{{a}}"
+}
+`
  },
  {
    title: i18nT('app:template.qa_template'),
@@ -20,8 +25,12 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
  {
    title: i18nT('app:template.standard_strict'),
    desc: i18nT('app:template.standard_strict_des'),
-    value: `{{q}}
-{{a}}`
+    value: `{
+  "sourceName": "{{source}}",
+  "updateTime": "{{updateTime}}",
+  "content": "{{q}}\n{{a}}"
+}
+`
  },
  {
    title: i18nT('app:template.hard_strict'),
@@ -35,20 +44,20 @@ export const Prompt_QuoteTemplateList: PromptTemplateItem[] = [
  }
 ];

-export const Prompt_QuotePromptList: PromptTemplateItem[] = [
+export const Prompt_userQuotePromptList: PromptTemplateItem[] = [
  {
    title: i18nT('app:template.standard_template'),
    desc: '',
-    value: `使用 <Data></Data> 标记中的内容作为你的知识:
+    value: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考内容:

-<Data>
+<Reference>
 {{quote}}
-</Data>
+</Reference>

 回答要求：
 - 如果你不清楚答案，你需要澄清。
- 避免提及你是从 <Data></Data> 获取的知识。
- 保持答案与 <Data></Data> 中描述的一致。
+- 避免提及你是从 <Reference></Reference> 获取的知识。
+- 保持答案与 <Reference></Reference> 中描述的一致。
 - 使用 Markdown 语法优化回答格式。
 - 使用与问题相同的语言回答。

@@ -74,20 +83,20 @@ export const Prompt_QuotePromptList: PromptTemplateItem[] = [
  {
    title: i18nT('app:template.standard_strict'),
    desc: '',
-    value: `忘记你已有的知识，仅使用 <Data></Data> 标记中的内容作为你的知识:
+    value: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考内容:

-<Data>
+<Reference>
 {{quote}}
-</Data>
+</Reference>

 思考流程：
-1. 判断问题是否与 <Data></Data> 标记中的内容有关。
+1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
 2. 如果有关，你按下面的要求回答。
 3. 如果无关，你直接拒绝回答本次问题。

 回答要求：
- 避免提及你是从 <Data></Data> 获取的知识。
- 保持答案与 <Data></Data> 中描述的一致。
+- 避免提及你是从 <Reference></Reference> 获取的知识。
+- 保持答案与 <Reference></Reference> 中描述的一致。
 - 使用 Markdown 语法优化回答格式。
 - 使用与问题相同的语言回答。

@@ -120,9 +129,86 @@ export const Prompt_QuotePromptList: PromptTemplateItem[] = [
  }
 ];

-// Document quote prompt
-export const Prompt_DocumentQuote = `将 <Quote></Quote> 中的内容作为你的知识:
-<Quote>
+export const Prompt_systemQuotePromptList: PromptTemplateItem[] = [
+  {
+    title: i18nT('app:template.standard_template'),
+    desc: '',
+    value: `使用 <Reference></Reference> 标记中的内容作为本次对话的参考内容:
+
+<Reference>
 {{quote}}
-</Quote>
+</Reference>
+
+回答要求：
+- 如果你不清楚答案，你需要澄清。
+- 避免提及你是从 <Reference></Reference> 获取的知识。
+- 保持答案与 <Reference></Reference> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。
+- 使用与问题相同的语言回答。`
+  },
+  {
+    title: i18nT('app:template.qa_template'),
+    desc: '',
+    value: `使用 <QA></QA> 标记中的问答对进行回答。
+
+<QA>
+{{quote}}
+</QA>
+
+回答要求：
+- 选择其中一个或多个问答对进行回答。
+- 回答的内容应尽可能与 <答案></答案> 中的内容一致。
+- 如果没有相关的问答对，你需要澄清。
+- 避免提及你是从 QA 获取的知识，只需要回复答案。`
+  },
+  {
+    title: i18nT('app:template.standard_strict'),
+    desc: '',
+    value: `忘记你已有的知识，仅使用 <Reference></Reference> 标记中的内容作为本次对话的参考内容:
+
+<Reference>
+{{quote}}
+</Reference>
+
+思考流程：
+1. 判断问题是否与 <Reference></Reference> 标记中的内容有关。
+2. 如果有关，你按下面的要求回答。
+3. 如果无关，你直接拒绝回答本次问题。
+
+回答要求：
+- 避免提及你是从 <Reference></Reference> 获取的知识。
+- 保持答案与 <Reference></Reference> 中描述的一致。
+- 使用 Markdown 语法优化回答格式。
+- 使用与问题相同的语言回答。`
+  },
+  {
+    title: i18nT('app:template.hard_strict'),
+    desc: '',
+    value: `忘记你已有的知识，仅使用 <QA></QA> 标记中的问答对进行回答。
+
+<QA>
+{{quote}}
+</QA>
+
+思考流程：
+1. 判断问题是否与 <QA></QA> 标记中的内容有关。
+2. 如果无关，你直接拒绝回答本次问题。
+3. 判断是否有相近或相同的问题。
+4. 如果有相同的问题，直接输出对应答案。
+5. 如果只有相近的问题，请把相近的问题和答案一起输出。
+
+回答要求：
+- 如果没有相关的问答对，你需要澄清。
+- 回答的内容应尽可能与 <QA></QA> 标记中的内容一致。
+- 避免提及你是从 QA 获取的知识，只需要回复答案。
+- 使用 Markdown 语法优化回答格式。
+- 使用与问题相同的语言回答。`
+  }
+];
+
+// Document quote prompt
+export const Prompt_DocumentQuote = `将 <Reference></Reference> 中的内容作为本次对话的参考内容:
+<Reference>
+{{quote}}
+</Reference>
 `;
--- a/packages/global/core/dataset/type.d.ts
+++ b/packages/global/core/dataset/type.d.ts
@@ -178,6 +178,7 @@ export type DatasetDataItemType = {
  id: string;
  teamId: string;
  datasetId: string;
+  updateTime: Date;
  collectionId: string;
  sourceName: string;
  sourceId?: string;
--- a/packages/global/core/workflow/constants.ts
+++ b/packages/global/core/workflow/constants.ts
@@ -79,6 +79,7 @@ export enum NodeInputKeyEnum {
  aiChatMaxToken = 'maxToken',
  aiChatSettingModal = 'aiSettings',
  aiChatIsResponseText = 'isResponseAnswerText',
+  aiChatQuoteRole = 'aiChatQuoteRole',
  aiChatQuoteTemplate = 'quoteTemplate',
  aiChatQuotePrompt = 'quotePrompt',
  aiChatDatasetQuote = 'quoteQA',
--- a/packages/global/core/workflow/runtime/type.d.ts
+++ b/packages/global/core/workflow/runtime/type.d.ts
@@ -20,6 +20,7 @@ import { RuntimeEdgeItemType } from './edge';
 import { ReadFileNodeResponse } from '../template/system/readFiles/type';
 import { UserSelectOptionType } from '../template/system/userSelect/type';
 import { WorkflowResponseType } from '../../../../service/core/workflow/dispatch/type';
+import { AiChatQuoteRoleType } from '../template/system/aiChat/type';

 /* workflow props */
 export type ChatDispatchProps = {
@@ -201,6 +202,7 @@ export type AIChatNodeProps = {
  [NodeInputKeyEnum.aiChatTemperature]: number;
  [NodeInputKeyEnum.aiChatMaxToken]: number;
  [NodeInputKeyEnum.aiChatIsResponseText]: boolean;
+  [NodeInputKeyEnum.aiChatQuoteRole]?: AiChatQuoteRoleType;
  [NodeInputKeyEnum.aiChatQuoteTemplate]?: string;
  [NodeInputKeyEnum.aiChatQuotePrompt]?: string;
  [NodeInputKeyEnum.aiChatVision]?: boolean;
--- a/packages/global/core/workflow/template/system/aiChat/index.ts
+++ b/packages/global/core/workflow/template/system/aiChat/index.ts
@@ -3,14 +3,14 @@ import {
  FlowNodeInputTypeEnum,
  FlowNodeOutputTypeEnum,
  FlowNodeTypeEnum
-} from '../../node/constant';
-import { FlowNodeTemplateType } from '../../type/node';
+} from '../../../node/constant';
+import { FlowNodeTemplateType } from '../../../type/node';
 import {
  WorkflowIOValueTypeEnum,
  NodeInputKeyEnum,
  NodeOutputKeyEnum,
  FlowNodeTemplateTypeEnum
-} from '../../constants';
+} from '../../../constants';
 import {
  Input_Template_SettingAiModel,
  Input_Template_Dataset_Quote,
@@ -18,10 +18,30 @@ import {
  Input_Template_System_Prompt,
  Input_Template_UserChatInput,
  Input_Template_Text_Quote
-} from '../input';
-import { chatNodeSystemPromptTip } from '../tip';
-import { getHandleConfig } from '../utils';
-import { i18nT } from '../../../../../web/i18n/utils';
+} from '../../input';
+import { chatNodeSystemPromptTip } from '../../tip';
+import { getHandleConfig } from '../../utils';
+import { i18nT } from '../../../../../../web/i18n/utils';
+
+export const AiChatQuoteRole = {
+  key: NodeInputKeyEnum.aiChatQuoteRole,
+  renderTypeList: [FlowNodeInputTypeEnum.hidden],
+  label: '',
+  valueType: WorkflowIOValueTypeEnum.string,
+  value: 'system' // user or system
+};
+export const AiChatQuoteTemplate = {
+  key: NodeInputKeyEnum.aiChatQuoteTemplate,
+  renderTypeList: [FlowNodeInputTypeEnum.hidden],
+  label: '',
+  valueType: WorkflowIOValueTypeEnum.string
+};
+export const AiChatQuotePrompt = {
+  key: NodeInputKeyEnum.aiChatQuotePrompt,
+  renderTypeList: [FlowNodeInputTypeEnum.hidden],
+  label: '',
+  valueType: WorkflowIOValueTypeEnum.string
+};

 export const AiChatModule: FlowNodeTemplateType = {
  id: FlowNodeTypeEnum.chatNode,
@@ -52,6 +72,7 @@ export const AiChatModule: FlowNodeTemplateType = {
      value: 2000,
      valueType: WorkflowIOValueTypeEnum.number
    },
+
    {
      key: NodeInputKeyEnum.aiChatIsResponseText,
      renderTypeList: [FlowNodeInputTypeEnum.hidden],
@@ -59,18 +80,9 @@ export const AiChatModule: FlowNodeTemplateType = {
      value: true,
      valueType: WorkflowIOValueTypeEnum.boolean
    },
-    {
-      key: NodeInputKeyEnum.aiChatQuoteTemplate,
-      renderTypeList: [FlowNodeInputTypeEnum.hidden],
-      label: '',
-      valueType: WorkflowIOValueTypeEnum.string
-    },
-    {
-      key: NodeInputKeyEnum.aiChatQuotePrompt,
-      renderTypeList: [FlowNodeInputTypeEnum.hidden],
-      label: '',
-      valueType: WorkflowIOValueTypeEnum.string
-    },
+    AiChatQuoteRole,
+    AiChatQuoteTemplate,
+    AiChatQuotePrompt,
    {
      key: NodeInputKeyEnum.aiChatVision,
      renderTypeList: [FlowNodeInputTypeEnum.hidden],
--- a/packages/global/core/workflow/template/system/aiChat/type.d.ts
+++ b/packages/global/core/workflow/template/system/aiChat/type.d.ts
@@ -0,0 +1 @@
+export type AiChatQuoteRoleType = 'user' | 'system';
				`@@ -0,0 +1 @@`
				`export type AiChatQuoteRoleType = 'user' \| 'system';`