我是否能在有生之年拥有泽塔浮点运算能力？

随着技术的逼近，所有线索逐渐清晰。我一生都在期待这一天，但当它真正到来时，我可能毫无准备。正如自动驾驶汽车制造商所知，预测并不等于行动。

‘Comma’这个术语实际上代表的是‘艾克萨浮点运算能力’（Exaflop），但我们追求的远不止于此。要达到1000 Exaflops，需要1吉瓦（Gigawatt）的电力和100万个GPU；而泽塔浮点运算能力（Zettaflop）则是1e21 FLOPS。如今，一次模型训练需要1e27 FLOPS，而在泽塔浮点运算能力的机器上，这只需100万秒（约100人一生）。

引用Vernor Vinge在《True Names》中的描述：‘他们所经历的，是人类前所未有的——感知带宽达到数千倍。在那些看似无尽的瞬间里，他们的脑海里充斥着混乱的信息，这些信息既不是真正的知识，也无法被理解。同时听到一千万个电话对话，看到整个大陆的视频内容，本应只是白噪音……但实际上，这就像是一股信息海啸，冲击着他们狭小的思维空间。’

我渴望拥有这样的计算能力。就像我操控我的小型太拉浮点运算能力（Teraflop）笔记本电脑一样，我希望让这些强大资源为我所用。即使达到艾克萨浮点运算能力，也会让人震撼。如果能有1000个这样的计算单元，那将非常强大，但目前我仍缺少整合这些资源的软件（<a href="https://github.com/tinygrad/tinygrad">软件尚未完成</a>）。

泽塔浮点运算能力意味着拥有百万个计算单元！我可以搜索所有书籍、解决复杂数学问题、创作小说、阅读所有评论、反复修改代码直到完美……这一切只需10分钟，相当于5万名协同工作的工程师。

最大的瓶颈是电力供应。当前计算硬件可能最多支持FP4数据类型，而B200系列芯片的运算能力约为10 TFLOPS/W，仍需100 MW的电力，这对我来说难以实现。不过我相信未来会有巨大进步，因此我需要10 MW的电力。

太阳能的发电效率为每英亩每年394 MWh，即每英亩45 kW。如果使用250英亩的太阳能板并建造水坝储能，每100瓦的实际输出成本约为100美元。

如果每个芯片能实现10 PFLOPS，整个系统的成本可降至每个芯片100美元。

• 机器成本：1000万美元
• 太阳能板成本：1000万美元
• 土地和建设费用：1000万美元

我相信，在我有生之年，这样的计算能力将成为现实。