本地多模态 LLM 实现 PDF 视觉检索与逆向图像搜索

我开发了一款开源工具，旨在利用本地大型语言模型（LLM）对海量 PDF 文档进行视觉检索。用户只需输入自然语言描述，例如“orange cat beach”，系统即可在数百万张包含猫咪图片的 PDF 中返回最相似的文件。

在 1.1 版本中新增了逆向图像搜索功能：用户可以上传一张图片，系统会基于图像特征匹配相似的 PDF 页面。例如，将一张包含橙色猫咪和白色小猫的合成图上传后，工具会返回所有出现相同场景的 PDF。

技术实现要点：

• 使用本地部署的多模态 LLM（如 LLaVA、MiniGPT‑4）进行文本‑图像对齐。
• 将 PDF 页面渲染为图像后，抽取 CLIP‑style 向量并存入向量数据库（FAISS / Milvus）。
• 文本查询通过 LLM 生成检索向量，图像查询直接使用上传图片的向量进行相似度搜索。
• 前端采用 Gradio 提供简洁的交互界面，后端使用 FastAPI 负责向量检索与文件返回。

项目已开源，欢迎在 GitHub 上 star、fork 并提交改进建议。

GitHub 项目地址： https://github.com/bcherb2/pdfiles