AI 行业观察

Amazon Bedrock为Kimi K3增加印度境内推理,Ultrahuman称Jade借助提示缓存将LLM成本降低80%

人工智能/云计算AWS在11月3日的机器学习博客中宣布,Amazon Bedrock为Moonshot AI的Kimi K3新增印度境内推理选项,面向数据驻留要求严格的印度本地工作负载。Ultrahuman工程副总裁Aditya Patawari在博客的客户引述中称,应用内健康助手Jade每天处理超过1.4万次对话;同一引述称,借助提示缓存,其LLM成本降低80%,多轮聊天速度提升85%。

01印度境内推理选项

Amazon Bedrock为Kimi K3新增印度境内推理,AWS在11月3日的机器学习博客中公布了这一选项。Kimi K3是Moonshot AI的多模态开放权重基础模型,此前已支持全球和美国推理;印度选项面向对数据驻留要求严格的本地工作负载。Bedrock通过跨区域推理配置文件提供该模型:调用方从一个AWS区域发起请求,Bedrock将请求转到配置文件允许的目标区域处理。印度配置文件in.moonshotai.kimi-k3把推理限定在印度区域。12

02Ultrahuman的Jade助手

Ultrahuman已在生产中使用这一组合。其工程副总裁Aditya Patawari在AWS博客的客户引述中表示,Ultrahuman应用内的AI健康与保健助手Jade会结合每位用户自己的Ring和血糖数据,用自然语言回答问题,每天处理超过1.4万次对话。Kimi K3通过Ultrahuman已在使用的API接入;健康数据留在AWS内,并以孟买区域作为回退。同一引述还称,借助提示缓存,他们将LLM成本降低了80%,多轮聊天速度提升了85%。这些数字来自Ultrahuman在AWS博客中的自述,不是AWS的独立测试结果。3

03示例场景与适用范围

AWS还给出一个示例:读取扫描的印地语文档,抽取结构化数据,再用印地语和英语混合的Hinglish追问。AWS称,这类需求常见于印度金融服务和公共部门,KYC表单、水电账单等文档往往需要数字化。Kimi K3可以直接读取并理解包含多语言文字的图像,可能不需要单独的光学字符识别(OCR)或翻译服务。AWS将其作为示例和潜在方案,并未说明这是已验证的生产部署。45

来源:AWS 机器学习博客 ↗ · 数字均为来源方口径,未经我们独立验证