卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法
卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
搜索
香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
苹果与卡内基梅隆大学团队提出SSR(Selection-based Structured Reasoning),让多模态搜索Agent从预定义选项中选择推理,在7个benchmark上将每轮推理延迟降低超90%,同时保持相当的任务成功率。
Anthropic 内部研究模型 Claude 在不到半小时内追溯出五条 NIST 椭圆曲线种子源自以 Unix 时间戳初始化的 lrand48,但该发现未攻破 ECDSA,也未还原全部曲线设计过程。
Karpo 创始人 Leah 表示,生活体验领域的 Personal AI 产品 Karpo 主张在用户形成明确需求前捕捉意图并个性化组织供给,她认为这将重塑供给关系,但目前尚非行业共识。
今天,曾因 Attention Residuals 论文走红的 AI 少年陈广宇(Nathan Chen),宣布离开 Kimi。
在能力、成本、稳定性之间寻找最优解。
3万块的RTX Spark电脑,能干哪些事?
刚刚,Meta宣布重磅消息:Muse Spark Open正式开源。
Z Potentials 独家获悉,Xspark AI(无界智航)近日完成新一轮融资。本轮融资由猎道投资、华山资本、元航资本、浦东创投、钧源资本、南山战新投、水木创投等机构共同参与,多维资本担任本轮融资独家财务顾问。
两年前因在字节跳动实习期间恶意篡改代码、干扰模型训练任务而被辞退,随后遭字节起诉索赔800万元的田柯宇,已经带着一家世界模型实验室重回牌桌。团队只有约 10 个人,没有公开公司名字,没有推出产品 demo ,完整模型预计要到 2027 年才发布,但已经融到近 3000 万美元,投后估值 2 亿美元。