Agentical.net:在浏览器中运行 P2P WebGPU LLM 推理引擎
Reddit r/LocalLLaMA2026/02/09 22:44机翻/自动摘要/自动分类
3 阅读
摘要
Agentical.net 推出创新的浏览器端 P2P LLM 推理引擎,利用 WebGPU 和 WebRTC 实现零安装、端到端加密的本地化推理。项目支持 DeepSeek R1、Qwen 2.5、Llama-3 等模型,并寻求社区关于本地 RAG 架构(IndexDB vs. 本地服务器)的宝贵反馈与测试,旨在推动 WebGPU 技术在 LLM 领域的应用与完善。
正文
近日,开发者发布了 Agentical.net,一个完全在浏览器中运行的 推理引擎,并利用 P2P 连接处理推理请求,旨在解决“云端 vs. 本地”的权衡问题。
该项目采用 WebGPU 技术实现零安装的 推理,目前正在测试对 DeepSeek-R1 (Distill)、Qwen 2.5 和 Llama-3 的支持。网络通信则基于 WebRTC 实现 P2P 连接,数据端到端加密,确保用户数据不经过中心服务器。
项目团队正在就本地 ()的架构方案征求反馈,目前倾向于使用 IndexDB,但也考虑通过本地 - Web 平台 ping 本地服务器的方案。团队希望了解哪种方案更具可行性,或者浏览器原生方案(IndexDB)是否会引入不必要的延迟和复杂性。
开发者特别邀请社区测试 WebGPU 的稳定性,并关注以下问题:
- 是否能成功加载到用户的 GPU?
- 推理速度(t/s)如何?
- P2P 连接是否稳定?
项目链接:agentical.net 文档链接:Whitepapper
开发者欢迎社区对 的 IndexDB 方案提出意见,并探讨其可行性。