FastGPT/template.md at c30f069f2ff0e47c94ca3454a6659810a64b776d

mirror of https://github.com/labring/FastGPT.git synced 2025-07-21 03:35:36 +00:00

Files

Archer c30f069f2f V4.9.11 feature (#4969 )

* Feat: Images dataset collection (#4941)

* New pic (#4858)

* 更新数据集相关类型，添加图像文件ID和预览URL支持；优化数据集导入功能，新增图像数据集处理组件；修复部分国际化文本；更新文件上传逻辑以支持新功能。

* 与原先代码的差别

* 新增 V4.9.10 更新说明，支持 PG 设置`systemEnv.hnswMaxScanTuples`参数，优化 LLM stream 调用超时，修复全文检索多知识库排序问题。同时更新数据集索引，移除 datasetId 字段以简化查询。

* 更换成fileId_image逻辑，并增加训练队列匹配的逻辑

* 新增图片集合判断逻辑，优化预览URL生成流程，确保仅在数据集为图片集合时生成预览URL，并添加相关日志输出以便调试。

* Refactor Docker Compose configuration to comment out exposed ports for production environments, update image versions for pgvector, fastgpt, and mcp_server, and enhance Redis service with a health check. Additionally, standardize dataset collection labels in constants and improve internationalization strings across multiple languages.

* Enhance TrainingStates component by adding internationalization support for the imageParse training mode and update defaultCounts to include imageParse mode in trainingDetail API.

* Enhance dataset import context by adding additional steps for image dataset import process and improve internationalization strings for modal buttons in the useEditTitle hook.

* Update DatasetImportContext to conditionally render MyStep component based on data source type, improving the import process for non-image datasets.

* Refactor image dataset handling by improving internationalization strings, enhancing error messages, and streamlining the preview URL generation process.

* 图片上传到新建的 dataset_collection_images 表，逻辑跟随更改

* 修改了除了controller的其他部分问题

* 把图片数据集的逻辑整合到controller里面

* 补充i18n

* 补充i18n

* resolve评论：主要是上传逻辑的更改和组件复用

* 图片名称的图标显示

* 修改编译报错的命名问题

* 删除不需要的collectionid部分

* 多余文件的处理和改动一个删除按钮

* 除了loading和统一的imageId,其他都resolve掉的

* 处理图标报错

* 复用了MyPhotoView并采用全部替换的方式将imageFileId变成imageId

* 去除不必要文件修改

* 报错和字段修改

* 增加上传成功后删除临时文件的逻辑以及回退一些修改

* 删除path字段，将图片保存到gridfs内，并修改增删等操作的代码

* 修正编译错误

---------

Co-authored-by: archer <545436317@qq.com>

* perf: image dataset

* feat: insert image

* perf: image icon

* fix: training state

---------

Co-authored-by: Zhuangzai fa <143257420+ctrlz526@users.noreply.github.com>

* fix: ts (#4948)

* Thirddatasetmd (#4942)

* add thirddataset.md

* fix thirddataset.md

* fix

* delete wrong png

---------

Co-authored-by: dreamer6680 <146868355@qq.com>

* perf: api dataset code

* perf: log

* add secondary.tsx (#4946)

* add secondary.tsx

* fix

---------

Co-authored-by: dreamer6680 <146868355@qq.com>

* perf: multiple menu

* perf: i18n

* feat: parse queue (#4960)

* feat: parse queue

* feat: sync parse queue

* fix thirddataset.md (#4962)

* fix thirddataset-4.png (#4963)

* feat: Dataset template import (#4934)

* 模版导入部分除了文档还没写

* 修复模版导入的 build 错误

* Document production

* compress pictures

* Change some constants to variables

---------

Co-authored-by: Archer <545436317@qq.com>

* perf: template import

* doc

* llm pargraph

* bocha tool

* fix: del collection

---------

Co-authored-by: Zhuangzai fa <143257420+ctrlz526@users.noreply.github.com>
Co-authored-by: dreamer6680 <1468683855@qq.com>
Co-authored-by: dreamer6680 <146868355@qq.com>

2025-06-06 14:48:44 +08:00

3.8 KiB

Raw Blame History

title, description, icon, draft, toc, weight

title	description	icon	draft	toc	weight
模板导入	FastGPT 模板导入功能介绍和使用方式	language	false	true	420

背景

FastGPT 提供了模板导入功能，让用户可以通过预设的 CSV 模板格式批量导入问答对数据。这种方式特别适合已经有结构化问答数据的用户，可以快速将数据导入到知识库中。

模板结构说明

模板采用 CSV 格式，包含以下列：

q: 问题列，存放用户可能提出的问题
a: 答案列，存放对应问题的标准答案
indexes: 索引列，用于存放与该问题相关的索引

示例数据

q,a,indexes
"你是谁呀？","我呀，是 AI 小助手哟，专门在这儿随时准备着，陪你交流、为你答疑解惑，不管是学习上的知识探讨，生活里的小疑问，还是创意灵感的碰撞，我都能尽力参与，用我的 "知识大脑" 给你提供帮助和陪伴呢，就盼着能成为你互动交流、探索世界的好伙伴呀 。","1. 你是什么？\n2. 你能做什么？\n3. 你可以解答哪些方面的疑问？\n4. 你希望成为什么样的伙伴？\n5. 你如何提供帮助？"
"你是什么？","我是 AI 小助手，专门随时准备陪用户交流、为用户答疑解惑，能参与学习上的知识探讨、生活里的小疑问以及创意灵感的碰撞，用 "知识大脑" 提供帮助和陪伴，希望成为用户互动交流、探索世界的好伙伴。","你是什么？"
"你能做什么？","能陪用户交流、为用户答疑解惑，参与学习上的知识探讨、生活里的小疑问以及创意灵感的碰撞，用 "知识大脑" 提供帮助和陪伴。","你能做什么？"

使用说明

1. 打开知识库，点击导入，选择模版导入

2. 下载模板

点击下载 CSV 模版，其中存在两个模式的内容

常规模式的数据模版

对应 CSV 格式为

常规模式下，q为内容，a为空，indexes可多个

问答对的数据模版

对应CSV格式为

问答对模式下，q为问题，a为答案，indexes即为索引部分

3. 填写数据

按照模板格式填写你的问答数据：

每一行代表一个内容或者一个问答对
问题(q)始终不为空
在一行内，索引部分可往后继续添加

4. 导入限制

仅支持 CSV 格式文件
单个文件大小限制为 100MB
必须严格按照模板格式填写，否则可能导入失败
每次只能导入一个文件

成功导入后如下：

4. 注意事项

确保 CSV 文件使用 UTF-8 编码
如果内容中包含逗号，请用双引号包裹整个内容
indexes 列的内容会被用作相关问题的索引，有助于提高检索准确性
建议在导入大量数据前先测试少量数据

最佳实践

数据准备
- 确保内容或者问答对的质量，答案应该清晰、准确
- 为每个导入的添加合适的索引关键词
- 避免重复的内容或者问答对
格式检查
- 导入前检查 CSV 文件格式是否正确
- 确保没有多余的空行或空格
- 验证特殊字符是否正确转义
分批导入
- 如果数据量较大，建议分批导入
- 每批导入后验证数据的正确性

常见问题

Q: 为什么我的文件导入失败了？ A: 请检查以下几点：

文件格式是否为 CSV
编码是否为 UTF-8
是否严格按照模板格式填写
文件大小是否超过限制

Q: 如何验证导入是否成功？ A: 导入成功后，你可以：

在知识库中搜索导入的问题
通过对话测试回答的准确性
查看知识库的数据统计

3.8 KiB Raw Blame History Unescape Escape

背景