谷歌Android ML Kit API封装端侧AI Gemini Nano内存降至1.1GB

Android AI Core产品负责人David Cho介绍了端侧AI（在用户设备本地运行模型）的能力布局与ML Kit API的最新进展。他表示，谷歌正通过ML Kit把模型下载、运行时配置、输入输出安全信号处理等复杂环节封装起来，开发者只需接入这一层API，即可调用生成式AI功能。他给出的理由是速度、成本、可用性和隐私四个方面。

David Cho称，在其测试的许多用例中，端侧推理比云端快约2倍，因为无需在设备与云端之间往返传输数据；若每天运行一百万次推理，改用端侧可节省数十万美元。谷歌今年早些时候的调查显示，62%的开发者把离线可用列为使用端侧AI的前三大理由，72%的开发者把隐私列入前三、其中40%将其列为第一。他同时披露，目前支持相关能力的AI Core设备已达1.75亿台，预计未来一年将增加数亿台；已有9个下载量达千万级的第三方应用在生产环境中使用这些生成式AI功能，AI功能的应用启动量环比增长110%。

为降低部署门槛，谷歌将驱动多数生成式AI API的主力模型Gemini Nano的内存占用从3.6GB降至1.1GB，做法包括改用2比特量化替代4比特、采用共享KV缓存（前20层共享、包体35MB，仍保留16K token上下文）、视觉与音频编码器按需加载（可再省约0.5GB内存），以及动态调整时钟频率以改善续航。速度方面，前缀缓存可复用系统提示词、减少60%的输入token并带来约60%的提速；推测解码则借助一个更小的草稿模型批量生成候选token再由Gemini Nano校验，内部用例平均提速约2倍。David Cho称，这个20亿参数模型在MMLU Pro等知识基准上接近去年的270亿参数模型，在研究生水平科学、推理与智能体工具调用基准上表现更好。

API能力上，ML Kit已支持设定人设、多图输入、思考模式、工具调用，以及通过标注Kotlin类获得符合指定schema的结构化输出。David Cho称，受访开发者中有91%表示只要上述能力之一可用就会推出相应体验；近期上线的四项能力包括支持20多种语言的语音翻译、用于语义检索的嵌入、文本转语音和函数调用。