DocParse Arena：自托管私有 VLM 文档解析基准与 ELO 排行榜

项目概述

DocParse Arena 是一款开源、可自托管的文档解析基准平台，专为需要对特定文档格式（如自定义发票、韩文名片、复杂简历等）进行视觉语言模型（VLM）盲测（A/B 测试）而设计。它通过私有 ELO 排行榜帮助用户快速判断哪种模型在自己的业务场景中表现最佳。

关键特性

• 项目专属基准：不依赖通用评分体系，使用用户自行准备的标注数据集进行评估。
• 隐私安全：支持本地模型（Ollama、vLLM、LiteLLM 等）直连本地服务器，文档内容永不离开内部网络。
• VLM 专业适配：内置对 dots.ocr、DeepSeek-OCR 等模型的后处理插件，能够直接解析结构化数据或坐标信息，而非仅返回 Markdown 文本。
• 并行 PDF 处理：自动拆分多页 PDF，利用多进程并行执行 OCR，显著提升 A/B 测试吞吐量。
• 一键部署：提供 Dockerfile 与 Docker‑Compose 配置，使用 docker compose up -d 即可在生产环境启动。

技术实现

• 后端：基于 FastAPI + PostgreSQL 实现任务调度与结果存储。
• 前端：React + Ant Design，提供可视化的排行榜、对比报告与模型管理界面。
• 模型接入：通过统一的 ModelAdapter 接口封装本地模型调用，支持 REST、gRPC 与本地进程两种方式。
• ELO 计算：采用标准 ELO 公式，支持自定义 K‑factor，以适配不同任务的敏感度。

开源与社区

项目使用 Claude Code 完成开发，代码已在 GitHub 完成多轮审查并通过 Docker 镜像发布。欢迎社区提交新的 VLM 适配器或后处理脚本，帮助完善私有基准生态。

项目地址： https://github.com/Bae-ChangHyun/DocParse_Arena

快速上手：

git clone https://github.com/Bae-ChangHyun/DocParse_Arena.git
cd DocParse_Arena
docker compose up -d

如有兴趣参与，可在 Reddit 社区 r/LocalLLaMA 讨论区留下需求或建议。