
lemonflow:把 Gemma 放到欧盟 TPU 上做充电客服,P50 时延约 350 毫秒,八成对话不用转人工
工程客服GemmaTPU实时语音能源
一句话结论
托管接口在高峰时又慢又会限流,他们改成在欧盟自托管开源模型,把语音时延压到亚秒,并用确定性层统一三十来套充电后端。
打开原文
Google Cloud:How lemonflow built real-time agents for EV charging using Gemma and TPUs
背景与理念
欧洲大约 15% 到 25% 的充电尝试会失败,司机常常要在电话队列里等待。lemonflow 为充电网络做司机支持智能体和后台监测智能体,支持智能体用九十多种语言全天回答,现在大约每 90 秒帮助一名司机。语音客服对时延很敏感:他们的测试表明,服务时延超过 800 毫秒,就容易出现司机抢话、对话被打断。
具体做法
- 从托管大模型接口迁到在欧盟用 Cloud TPU v6e 自托管开源的 Gemma 4。托管接口在高峰时会从约 1.0 到 1.2 秒跳到超过 1.7 秒,并出现 HTTP 429 限流。每个智能体都有一份完整提示词,还要动态调用实时充电桩数据,计算会成阵发。他们还要对接大约 30 套不同的充电点管理系统,并为不同运营商、国家和热线维护数百个定制智能体。
- 在模型前面做一层确定性核心,处理电动汽车场景的护栏、提示注入防护,并把分散的后端协议先译成内部格式。智能路由网关按紧急程度排队:先保直播语音,再是网页聊天,把自动重放测试放到低峰。他们对开源推理引擎做了定制,并在 TPU 和主机内存之间做分层,让一片 TPU 能同时把更多运营商智能体保持在可立即作答的状态。备用路径会转到自托管 GPU 和 Gemini 企业接口,但文中说,由于 TPU 可靠,Gemma 已回答超过 99.9% 的直播对话轮次,备用主要用在系统更新时。
- 通话进入对话引擎后,会实时拉取充电桩状态和开放充电点协议日志。部分文本标记立即送到语音合成,结构化的工具调用则异步去重启充电桩、解锁卡住的线缆、结束未能正常关闭的会话,或给司机和维修人员发消息。后台还有 Agent Coach,在通话中补充上下文,并把真实对话变成固定测试用例;夜间再对数千个固定情景做回归。
关键数据/例子
自托管之后,提示词更新和测试周期从 2 到 3 小时降到约 10 分钟;P50 时延约 350 毫秒,P90 约 600 毫秒,大约是托管接口基线的三倍快。智能体通常能接起每个电话,八成以上对话不用转人工,司机满意度为 95%。目前服务超过 40 个充电网络、17 个国家、逾 25 万个充电点。文中没有把这些结果写成与迁出托管接口之前的严格对照实验。
创新点
第一,把实时语音的时延和容量看成必须自己掌控的基础设施问题,而不是一直租公共接口。第二,用确定性翻译层把几十套充电后端收成一种内部格式,再让模型说话和调用工具。第三,把暂时不用的算力拿去回放真实通话、做夜间回归,让每一次呼叫变成下一轮测试。
可否复用
- 对时延敏感的语音智能体,先测量高峰时的尾时延和限流,再决定要不要自托管。如果必须自托管,把数据和推理放在合规要求的区域内。
- 先用一层确定性适配把外部系统的差异挡住,再让模型面对统一的工具和护栏。同时把真实失败对话收成回归集,而不是只在提示词里修一处。