Moonshot AI
共 6 篇文章
Moonshot AI进阶
技术报告：Muon 优化器的首次大规模训练实践
近期，基于矩阵正交化（matrix orthogonalization）的 Muon 优化器在小规模语言模型训练中展现出了优异的性能，但其在大模型训练中的可扩展性尚未得到验证。我们发现了两个提升 Muon 可扩展性的关键技术：(1)引入权重衰减（weight decay）；(2)
2025-03-035 分钟
Moonshot AI入门
介绍一下 MoBA：面向长文本大模型的混合块注意力机制
MoBA通过将专家混合系统(Mixture of Experts, MoE)的思想与稀疏注意力(sparse attention)相结合，为大语言模型中的长文本处理方式带来革命性变化。
2025-02-193 分钟
Moonshot AI进阶
使用 Unreal5 游戏引擎和 Kimi 大模型开发交互式游戏
使用 Unreal5 游戏引擎和 Kimi 大模型开发交互式游戏
2024-09-022 分钟
Moonshot AI进阶
Kimi API 助手的氮气加速装置 —— 以 Golang 为例实践 Context Caching 3
Kimi API 助手的氮气加速装置 —— 以 Golang 为例实践 Context Caching 3
2024-07-087 分钟
Moonshot AI进阶
Kimi API 助手的氮气加速装置 —— 以 Golang 为例实践 Context Caching 2
Kimi API 助手的氮气加速装置 —— 以 Golang 为例实践 Context Caching 2
2024-07-025 分钟
Moonshot AI进阶
Context Caching 如何为 Kimi API 助手节省最高 90% 的调用成本
Context Caching 如何为 Kimi API 助手节省最高 90% 的调用成本
2024-07-014 分钟