diff --git a/.github/workflows/docs-deploy-kubeconfig.yml b/.github/workflows/docs-deploy-kubeconfig.yml index 9d4be40d2..cc6d11ca7 100644 --- a/.github/workflows/docs-deploy-kubeconfig.yml +++ b/.github/workflows/docs-deploy-kubeconfig.yml @@ -6,8 +6,6 @@ on: - 'docSite/**' branches: - 'main' - tags: - - 'v*.*.*' jobs: build-fastgpt-docs-images: diff --git a/.github/workflows/docs-deploy-vercel.yml b/.github/workflows/docs-deploy-vercel.yml index fed4a830b..0b8b91b50 100644 --- a/.github/workflows/docs-deploy-vercel.yml +++ b/.github/workflows/docs-deploy-vercel.yml @@ -7,8 +7,6 @@ on: - 'docSite/**' branches: - 'main' - tags: - - 'v*.*.*' # A workflow run is made up of one or more jobs that can run sequentially or in parallel jobs: diff --git a/.github/workflows/docs-preview.yml b/.github/workflows/docs-preview.yml index a76242a3a..e66e5d64e 100644 --- a/.github/workflows/docs-preview.yml +++ b/.github/workflows/docs-preview.yml @@ -4,8 +4,6 @@ on: pull_request_target: paths: - 'docSite/**' - branches: - - 'main' workflow_dispatch: # A workflow run is made up of one or more jobs that can run sequentially or in parallel diff --git a/README.md b/README.md index f40777117..9b3b168b5 100644 --- a/README.md +++ b/README.md @@ -107,7 +107,6 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b * [系统配置文件说明](https://doc.tryfastgpt.ai/docs/development/configuration/) * [多模型配置方案](https://doc.tryfastgpt.ai/docs/development/modelconfig/one-api/) * [版本更新/升级介绍](https://doc.tryfastgpt.ai/docs/development/upgrading/) -* [AI Proxy API调用地址](https://sealos.run/aiproxy/?k=fastgpt-github/) * [OpenAPI API 文档](https://doc.tryfastgpt.ai/docs/development/openapi/) * [知识库结构详解](https://doc.tryfastgpt.ai/docs/guide/knowledge_base/rag/) @@ -123,7 +122,6 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b - [Laf:3 分钟快速接入三方应用](https://github.com/labring/laf) - [Sealos:快速部署集群应用](https://github.com/labring/sealos) -- [AI Proxy API调用地址](https://sealos.run/aiproxy/?k=fastgpt-github/) - [One API:多模型管理,支持 Azure、文心一言等](https://github.com/songquanpeng/one-api) @@ -132,6 +130,7 @@ https://github.com/labring/FastGPT/assets/15308462/7d3a38df-eb0e-4388-9250-2409b ## 🌿 第三方生态 +- [AI Proxy: 国内模型聚合服务](https://sealos.run/aiproxy/?k=fastgpt-github/) - [SiliconCloud (硅基流动) —— 开源模型在线体验平台](https://cloud.siliconflow.cn/i/TR9Ym0c4) - [COW 个人微信/企微机器人](https://doc.tryfastgpt.ai/docs/use-cases/external-integration/onwechat/) diff --git a/docSite/content/zh-cn/docs/development/custom-models/marker.md b/docSite/content/zh-cn/docs/development/custom-models/marker.md index 496352c97..36bbdfe68 100644 --- a/docSite/content/zh-cn/docs/development/custom-models/marker.md +++ b/docSite/content/zh-cn/docs/development/custom-models/marker.md @@ -22,6 +22,7 @@ PDF 是一个相对复杂的文件格式,在 FastGPT 内置的 pdf 解析器 参考文档 [Marker 安装教程](https://github.com/labring/FastGPT/tree/main/plugins/model/pdf-marker),安装 Marker 模型。封装的 API 已经适配了 FastGPT 自定义解析服务。 这里介绍快速 Docker 安装的方法: + ```dockerfile docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 docker run --gpus all -itd -p 7231:7232 --name model_pdf_v2 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 @@ -79,10 +80,24 @@ docker run --gpus all -itd -p 7231:7232 --name model_pdf_v2 -e PROCESSES_PER_GPU 上图是分块后的结果,下图是 pdf 原文。整体图片、公式、表格都可以提取出来,效果还是杠杠的。 不过要注意的是,[Marker](https://github.com/VikParuchuri/marker) 的协议是`GPL-3.0 license`,请在遵守协议的前提下使用。 + ## 旧版 Marker 使用方法 -如需使用旧版Marker可以使用以下命令: + +FastGPT V4.9.0 版本之前,可以用以下方式,试用 Marker 解析服务。 + +安装和运行 Marker 服务: + ```dockerfile docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1 docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1 ``` -并将 FastGPT 文件配置中的url改为 "http://xxxx.com/v1/parse/file" \ No newline at end of file + +并修改 FastGPT 环境变量: + +``` +CUSTOM_READ_FILE_URL=http://xxxx.com/v1/parse/file +CUSTOM_READ_FILE_EXTENSION=pdf +``` + +* CUSTOM_READ_FILE_URL - 自定义解析服务的地址, host改成解析服务的访问地址,path 不能变动。 +* CUSTOM_READ_FILE_EXTENSION - 支持的文件后缀,多个文件类型,可用逗号隔开。 \ No newline at end of file diff --git a/plugins/model/pdf-marker/Readme.md b/plugins/model/pdf-marker/Readme.md index cd98d9e12..0a617335b 100644 --- a/plugins/model/pdf-marker/Readme.md +++ b/plugins/model/pdf-marker/Readme.md @@ -83,19 +83,14 @@ export PROCESSES_PER_GPU="1" ```bash sudo docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" model_pdf ``` + ## 快速构建镜像(推荐) -### marker v0.1 -```dockerfile -docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1 -docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1 -``` -*注意*:参数PROCESSES_PER_GPU设置每张显卡上文件处理的并行数量,24G的显卡可以设置为2。在多显卡的环境中会自动切换显卡来运行多文件的并行处理。 -### marker v0.2 ```dockerfile docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 docker run --gpus all -itd -p 7231:7232 --name model_pdf_v2 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 ``` + # 访问示例 marker v0.1:用Post方法访问端口为 `7321 ` 的 `v1/parse/file` 服务 @@ -106,19 +101,21 @@ marker v0.2:用Post方法访问端口为 `7321 ` 的 `v2/parse/file` 服务 - 访问方法 - - v0.1 - ``` - curl --location --request POST "http://localhost:7231/v1/parse/file" \ - --header "Authorization: Bearer your_access_token" \ - --form "file=@./file/chinese_test.pdf" - ``` - 参数:file-->本地文件的地址 - - v0.2 + - v0.2 ``` - curl --location --request POST "http://localhost:7231/v2/parse/file" \ - --header "Authorization: Bearer your_access_token" \ - --form "file=@./file/chinese_test.pdf" - ``` + curl --location --request POST "http://localhost:7231/v2/parse/file" \ + --header "Authorization: Bearer your_access_token" \ + --form "file=@./file/chinese_test.pdf" + ``` + - v0.1 + ``` + curl --location --request POST "http://localhost:7231/v1/parse/file" \ + --header "Authorization: Bearer your_access_token" \ + --form "file=@./file/chinese_test.pdf" + ``` + + 参数:file-->本地文件的地址 + - 多文件测试数据 运行 `test` 文件下的 `test.py` 文件,修改里面的 `file_paths` 为自己仓库的 `url` 即可