smolcluster：面向教育的轻量级分布式训练框架，支持多种并行策略

过去一个月，我为社区开发了一套分布式系统教学资源，聚焦大语言模型（LLM）的训练与推理。受 @exolabs 将多台 Mac Mini/Studio 组合成推理集群的方案启发，我决定从底层网络协议入手，使用 Python 原生 socket 库重新实现几类主流分布式算法：

• 弹性分布式并行（Elastic Distributed Parallelism, EDP）
• 同步参数服务器（Synchronous Parameter Server, SyncPS）
• 完全分片数据并行（Fully Sharded Data Parallelism, FSDP）
• 标准数据并行（Data Parallelism, DP）
• 模型并行（Model Parallelism, MP）
• 管道并行（Pipeline Parallelism, PP）

基于这些实现，我完成了 smolcluster（https://www.smolcluster.com），一个专为异构硬件（Mac Mini、Raspberry Pi 4/5、NVIDIA GeForce 4050、Jetson Orin Nano）设计的教育型分布式学习工具。所有算法均以单文件 Python 脚本的形式提供，便于学生和研究者快速阅读、修改并上手实验。

目前代码已在上述多机集群上跑通，能够在不同算力节点之间完成参数同步、梯度分片和流水线调度。项目仍在持续迭代，欢迎通过 GitHub（https://github.com/YuvrajSingh-mist/smolcluster）提交 Issue 或 PR，帮助完善文档与实现细节。

smolcluster 适合想要深入了解分布式训练原理、学习底层实现细节的学生、科研人员以及对分布式系统感兴趣的开发者。