近日，Kimi正式宣布开源其底层推理框架Mooncake，这一消息瞬间引发了业界广泛关注。Mooncake作为Kimi在线服务的核心架构，承载着超过80%的流量，它的开源意味着在大模型推理框架领域，进入了一个全新的阶段。

【月之暗面 Kimi 联合清华大学等机构共建大模型推理架构 Mooncake】月之暗面 Kimi 与清华大学 MADSys 实验室携手 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等产学研各方力量，共同推出开源项目 ...

IT之家 11 月 28 日消息，月之暗面 Kimi 和清华大学 MADSys 实验室 2024 年 6 月联合发布了 Kimi 底层的 Mooncake 推理系统设计方案。该系统基于以 KVCache 为中心的 PD ...

在科技界的一次重大合作中，月之暗面Kimi与清华大学MADSys实验室携手，共同揭晓了他们酝酿已久的Mooncake推理系统设计方案。这一创新方案于2024年6月正式面世，其核心在于采用了KVCache为中心的PD分离技术和存换算架构，极大地推动了推 ...

在 2024 年 10 月 18−19 日举办的 QCon 全球软件开发大会（上海站） 上，月之暗面推理系统负责人何蔚然分享了“Mooncake 分离式推理架构创新与实践 ...

在计算机科学快速发展的当下，一项名为Mooncake的新兴推理系统正引领着人工智能的前沿。近期，月之暗面Kimi与清华大学MADSys实验室的合作 ...

在人工智能迅速发展的大背景下，Kimi科技在感恩节之际宣布重磅开源其底层大模型推理架构——Mooncake。这一架构支撑了Kimi平台上超过80%的流量 ...

新浪科技讯 12月12日下午消息，在2024大模型技术与应用创新论坛上，中国工程院院士、清华大学计算机系教授郑纬民在分享中提及了月之暗面kimi对话AI产品避免大量用户涌入导致服务宕机背后的技术原理——以存换算。

Mooncake是为Kimi服务的平台，Kimi是由Moonshot AI提供的领先的大型语言模型（LLM）服务。

随着人工智能技术的飞速发展，尤其是大型语言模型（LLM）在社会各界的广泛应用，如何高效处理大规模请求成为业界关注的焦点。在2024年10月举行的QCon全球软件开发大会上，月之暗面推理系统负责人何蔚然分享了他们的最新创新——Mooncake分离式推理架构。此架构不仅提升了处理能力，还为当前AI产品如何适应不断增长的用户需求提供了新的思路。 何蔚然在演讲中强调，大规模推理面临着不少挑战，尤其是在处理 ...