(相关资料图)

【1月1日DeepSeek发布新论文提出mHC架构，有望助力基座模型演进】1月1日，DeepSeek发布新论文，提出流形约束超连接新架构。该架构旨在解决超连接网络（HC）技术因破坏恒等映射特性，导致训练不稳定和可扩展性受限等问题。mHC架构将HC残差连接空间映射至特定流形恢复恒等映射特性，结合基础设施优化确保效率。实现了显著性能改进和优越可扩展性。DeepSeek预计，mHC作为HC的灵活实用拓展，将助力深入理解拓扑架构设计，为基座模型演进指明前景方向。论文由Zhenda Xie（解振达）、Yixuan Wei（韦毅轩）、Huanqi Cao共同担任第一作者，梁文锋也在作者名单中。