← 返回全部情报
AWS AAIF:llama3.2:1b 本地路由 + Ollama 视觉,约 80% 例行流量可不打付费 API 的封面

·AWS Blog·工程博客收录 2026-10-28

AWS AAIF:llama3.2:1b 本地路由 + Ollama 视觉,约 80% 例行流量可不打付费 API

工程Strands AgentsSLMOllamaBedrock边缘部署AAIF

一句话结论

在 Strands Agents 上搭三层 Adaptive Agentic Intelligence:1B SLM 做智能路由,例行遥测/视觉走本地 Ollama,复杂分析才打 Bedrock;声称约 80% 流量可不上付费 API。

打开原文 AWS:Adaptive Agentic Intelligence Framework using Strands Agents

背景与理念

一律打大模型又贵、延迟高、还难离线。框架对齐「多数 agent 调用可用 SLM」的立场,把边缘/混合 IoT 监控写成可切换配置的参考实现。

具体做法

  1. 用 `@tool` 定义 get_device_telemetry / analyze_camera_feed / get_expert_insights。OllamaModel(llama3.2:1b)当编排大脑,视觉走 llama3.2-vision,专家层走 Bedrock converse。
  2. 纯云 / 混合 / 气隙三种形态改模型配置即可切换。可选 MCP 挂分布式工具。
  3. 生产提示:Bedrock 路径挂 Guardrails;本地路径用 ApplyGuardrail API 对齐同一策略。避免「云上有护栏、边上裸跑」。

关键数据/例子

编排模型 1B;本地磁盘约 2 GB 模型;文称约 80% 例行流量可不打付费端点;硬件例 Raspberry Pi 8 GB。遥测数据为模拟,路由质量需自评。

创新点

第一,把「本地 SLM 路由 + 云端专家」写成可运行 walkthrough,而不是口号。第二,强调本地与云端共用同一套 Guardrail 策略。

可否复用

  1. 先统计例行 vs 复杂调用占比,再决定哪些必须上大模型。
  2. 边缘编排用小模型,专家分析再升档。
  3. 本地路径也要对齐同一 Guardrail,不要只护云端。

笔记会在输入时自动保存。