新浪科技讯 12月12日下昼音尘，在2024大模子手艺与欺诈翻新论坛上开yun体育网，中国工程院院士、清华大学蓄意机系训诲郑纬民在共享中说起了月之暗面kimi对话AI居品幸免多数用户涌入导致劳动宕机背后的手艺旨趣——以存换算。

　　据郑纬民先容，保险kimi对话AI指导启动背后的大模子推理框架，名为Mooncake，是一项叫作念清华大学与月之暗面共同研发的推理系统决策。

　　郑纬民指出，Kimi研发罢免的基本原则是：数据更多、模子更大、更长的高下文窗口，确定会带来更好的后果。因为kimi救援200万字的高下文，后果很好，好多东谈主齐心爱用它。

　　然而，在Kimi推出初期，遭受拜访过大劳动宕机继承的支吾政策即是买算力卡，但买了五次卡仍是死机，并不成透彻继续问题。其背后的原因是，更高的推理负载意味着要买更多的推理卡，但推理卡多了存储器也会不够，用的东谈主多了，问题也就大了。

　　据郑纬民先容，临了月之暗面与清华大学建立了Mooncake手艺框架，通过将不同用户与Kimi对话的环球本色索取出来，存储下来，遭受下次用户再发问的时刻径直读取回应，减少了每次用户发问齐要再行生成的流程，粗浅了许多算力卡，之后Mooncake就莫得再死过机。

　　“把存储器好好用，也不错省好多卡。”郑纬民默示。（文猛）

职守裁剪：王若云 开yun体育网