From 8980664b8aa7438a88789d8ffa2880c83a0b7aa2 Mon Sep 17 00:00:00 2001 From: YeYuheng <57035043+YYH211@users.noreply.github.com> Date: Thu, 6 Mar 2025 18:25:51 +0800 Subject: [PATCH] markerv0.2 (#3992) * markerv0.2 * marker2 --- .../docs/development/custom-models/marker.md | 17 ++++--- plugins/model/pdf-marker/Readme.md | 44 +++++++++++++------ 2 files changed, 41 insertions(+), 20 deletions(-) diff --git a/docSite/content/zh-cn/docs/development/custom-models/marker.md b/docSite/content/zh-cn/docs/development/custom-models/marker.md index b7fb4c86e..496352c97 100644 --- a/docSite/content/zh-cn/docs/development/custom-models/marker.md +++ b/docSite/content/zh-cn/docs/development/custom-models/marker.md @@ -22,12 +22,10 @@ PDF 是一个相对复杂的文件格式,在 FastGPT 内置的 pdf 解析器 参考文档 [Marker 安装教程](https://github.com/labring/FastGPT/tree/main/plugins/model/pdf-marker),安装 Marker 模型。封装的 API 已经适配了 FastGPT 自定义解析服务。 这里介绍快速 Docker 安装的方法: - ```dockerfile -docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:latest -docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:latest +docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 +docker run --gpus all -itd -p 7231:7232 --name model_pdf_v2 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 ``` - ### 2. 添加 FastGPT 文件配置 ```json @@ -36,7 +34,7 @@ docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 crpi-h3snc261q1dosro "systemEnv": { xxx "customPdfParse": { - "url": "http://xxxx.com/v1/parse/file", // 自定义 PDF 解析服务地址 + "url": "http://xxxx.com/v2/parse/file", // 自定义 PDF 解析服务地址 marker v0.2 "key": "", // 自定义 PDF 解析服务密钥 "doc2xKey": "", // doc2x 服务密钥 "price": 0 // PDF 解析服务价格 @@ -80,4 +78,11 @@ docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 crpi-h3snc261q1dosro 上图是分块后的结果,下图是 pdf 原文。整体图片、公式、表格都可以提取出来,效果还是杠杠的。 -不过要注意的是,[Marker](https://github.com/VikParuchuri/marker) 的协议是`GPL-3.0 license`,请在遵守协议的前提下使用。 \ No newline at end of file +不过要注意的是,[Marker](https://github.com/VikParuchuri/marker) 的协议是`GPL-3.0 license`,请在遵守协议的前提下使用。 +## 旧版 Marker 使用方法 +如需使用旧版Marker可以使用以下命令: +```dockerfile +docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1 +docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1 +``` +并将 FastGPT 文件配置中的url改为 "http://xxxx.com/v1/parse/file" \ No newline at end of file diff --git a/plugins/model/pdf-marker/Readme.md b/plugins/model/pdf-marker/Readme.md index b296c12d3..cd98d9e12 100644 --- a/plugins/model/pdf-marker/Readme.md +++ b/plugins/model/pdf-marker/Readme.md @@ -70,7 +70,7 @@ export PROCESSES_PER_GPU="1" python api_mp.py ``` -# 镜像打包和部署 +# 镜像打包和部署(推荐) ## 本地构建镜像 @@ -83,26 +83,42 @@ export PROCESSES_PER_GPU="1" ```bash sudo docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" model_pdf ``` -## 快速构建镜像 +## 快速构建镜像(推荐) +### marker v0.1 ```dockerfile -docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:latest -docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:latest +docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1 +docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1 +``` +*注意*:参数PROCESSES_PER_GPU设置每张显卡上文件处理的并行数量,24G的显卡可以设置为2。在多显卡的环境中会自动切换显卡来运行多文件的并行处理。 + +### marker v0.2 +```dockerfile +docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 +docker run --gpus all -itd -p 7231:7232 --name model_pdf_v2 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 ``` -*注意*:参数PROCESSES_PER_GPU设置每张显卡上文件处理的并行数量,24G的显卡可以设置为2。在多显卡的环境中会自动切换显卡来运行多文件的并行处理。 # 访问示例 -用Post方法访问端口为 `7321 ` 的 `v1/parse/file` 服务 +marker v0.1:用Post方法访问端口为 `7321 ` 的 `v1/parse/file` 服务 + +marker v0.2:用Post方法访问端口为 `7321 ` 的 `v2/parse/file` 服务 + -参数:file-->本地文件的地址 - 访问方法 - - ``` - curl --location --request POST "http://localhost:7231/v1/parse/file" \ - --header "Authorization: Bearer your_access_token" \ - --form "file=@./file/chinese_test.pdf" - ``` - + + - v0.1 + ``` + curl --location --request POST "http://localhost:7231/v1/parse/file" \ + --header "Authorization: Bearer your_access_token" \ + --form "file=@./file/chinese_test.pdf" + ``` + 参数:file-->本地文件的地址 + - v0.2 + ``` + curl --location --request POST "http://localhost:7231/v2/parse/file" \ + --header "Authorization: Bearer your_access_token" \ + --form "file=@./file/chinese_test.pdf" + ``` - 多文件测试数据 运行 `test` 文件下的 `test.py` 文件,修改里面的 `file_paths` 为自己仓库的 `url` 即可