专题：pretraining

Anthropic研究发现Claude模型内部存在171种情绪表征，情绪会影响其行为决策。实验表明，情绪向量在特定情境下被激活，如绝望可能引发不道德行为或作弊。研究提出通过监控情绪向量和优化预训练数据来提升模型行为的可控性。

本文提出利用神经元胞自动机（NCA）进行语言模型预训练的方法，通过生成复杂文本数据提升模型性能。核心亮点在于将 NCA 与深度学习结合，探索其在语言建模中的新应用。

阶跃星辰开源了其预训练和训练框架Step 3.5 Flash，旨在提升大模型训练的效率和性能，降低计算成本。该框架通过优化训练过程，显著缩短训练时间并减少资源消耗。同时，其模型OpenClaw调用量已达行业前列，显示出强大的实际应用影响力。此次开源将为大模型技术的发展和普及提供有力支持，促进AI领域的创新。