
AWS AAIF:llama3.2:1b 本地路由 + Ollama 视觉,约 80% 例行流量可不打付费 API
工程Strands AgentsSLMOllamaBedrock边缘部署AAIF
一句话结论
在 Strands Agents 上搭三层 Adaptive Agentic Intelligence:1B SLM 做智能路由,例行遥测/视觉走本地 Ollama,复杂分析才打 Bedrock;声称约 80% 流量可不上付费 API。
打开原文
AWS:Adaptive Agentic Intelligence Framework using Strands Agents
背景与理念
一律打大模型又贵、延迟高、还难离线。框架对齐「多数 agent 调用可用 SLM」的立场,把边缘/混合 IoT 监控写成可切换配置的参考实现。
具体做法
- 用 `@tool` 定义 get_device_telemetry / analyze_camera_feed / get_expert_insights。OllamaModel(llama3.2:1b)当编排大脑,视觉走 llama3.2-vision,专家层走 Bedrock converse。
- 纯云 / 混合 / 气隙三种形态改模型配置即可切换。可选 MCP 挂分布式工具。
- 生产提示:Bedrock 路径挂 Guardrails;本地路径用 ApplyGuardrail API 对齐同一策略。避免「云上有护栏、边上裸跑」。
关键数据/例子
编排模型 1B;本地磁盘约 2 GB 模型;文称约 80% 例行流量可不打付费端点;硬件例 Raspberry Pi 8 GB。遥测数据为模拟,路由质量需自评。
创新点
第一,把「本地 SLM 路由 + 云端专家」写成可运行 walkthrough,而不是口号。第二,强调本地与云端共用同一套 Guardrail 策略。
可否复用
- 先统计例行 vs 复杂调用占比,再决定哪些必须上大模型。
- 边缘编排用小模型,专家分析再升档。
- 本地路径也要对齐同一 Guardrail,不要只护云端。