Windows 本机本地大模型推理 · 2 个模型 · API 运行中
http://127.0.0.1:11434| 模型 | 大小 | 量化 | 上下文 | 能力 |
|---|---|---|---|---|
| qwen3:4b 主力 | 2.5 GB | Q4_K_M | 262K | 推理 · 工具调用 · 思考 (thinking) |
| qwen3-embedding:0.6b 嵌入 | 639 MB | Q8_0 | 32K | 文本嵌入 (embedding) |
ollama list # 列出模型 ollama ps # 查看当前加载的模型 ollama pull qwen3:4b # 下载模型 ollama rm qwen3:4b # 删除模型
ollama run qwen3:4b # 交互式对话
ollama run qwen3:4b "你好" # 单轮推理
# 嵌入
curl http://127.0.0.1:11434/api/embed -d '{
"model": "qwen3-embedding:0.6b",
"input": "要嵌入的文本"
}'
# Chat 补全
curl http://127.0.0.1:11434/api/chat -d '{
"model": "qwen3:4b",
"messages": [{"role":"user","content":"你好"}],
"stream": false
}'
# 生成补全
curl http://127.0.0.1:11434/api/generate -d '{
"model": "qwen3:4b",
"prompt": "写一首诗",
"stream": false
}'
| 应用 | 状态 | 说明 |
|---|---|---|
| OmniRoute AI 网关 | 待集成 | 可将 Ollama 注册为 OmniRoute provider，让所有槽位通过 OmniRoute 调用本机模型 |
| 桌面槽位直连 | 待测试 | 配置 claude-code 使用 Ollama 作为 provider（需 OpenAI 兼容代理） |
| Agent 工具箱 | 待测试 | 本地模型可用于 Agent 子任务（总结/嵌入/分类），节省 API 费用 |
| 维度 | Ollama (qwen3:4b) | 云端 (deepseek-v4-flash / grok) |
|---|---|---|
| 速度 | ~20-40 tok/s（本地） | ~100+ tok/s（云端） |
| 质量 | ⭐⭐⭐ 4B 小模型，适合简单任务 | ⭐⭐⭐⭐⭐ 大模型，全面 |
| 费用 | 🆓 免费（仅耗电） | 💰 按量计费 |
| 隐私 | ✅ 数据不出本机 | ⚠️ 数据发送到云端 |
| 可用性 | 🟢 离线可用 | 🔴 需联网 |
| 适合场景 | 嵌入/分类/简单QA/离线任务 | 复杂推理/编程/长文/Agent 主模型 |