Experiential：零加价的开源 LLM 网关，把真实流量变成自己的路由和模型

随着 Agent 与编程助手（Claude Code、Cursor、Codex 等）普及，团队很快会撞上同一个问题：模型供应商越来越多、账单越来越厚、却没人说得清”哪个请求该用哪个模型最划算”。Experiential（experientiallabs/experiential）正是冲着这个问题来的：它是一个开源、**零加价（zero markup）**的网关与路由器，用一套 OpenAI 兼容 API 把托管模型、BYOK 自有密钥和本地模型统一起来，并且更进一步——把你的生产流量反哺成一个你自己拥有的路由甚至微调模型。

一、它解决什么

Experiential 把自己定位为 Agent 工作流的中间层，三件事：

1. 统一接入：通过一套 OpenAI 兼容 API（也兼容 Anthropic Messages API）调用托管、BYOK 与本地模型；
2. 治理与控费：控制哪些用户、哪些 Agent 能用哪些模型、用在哪些场景、花多少钱；
3. 流量变现：把生产流量沉淀成一个自定义路由器，或进一步训练一个你自己的、针对质量/速度/成本优化的专用模型。

与许多”LLM 代理/转发”项目不同，它的卖点不是又一个聚合商店，而是从观测到优化的闭环——先把你的流量看得见，再基于流量做决策，最后把决策固化成模型。

二、怎么跑起来

本地启动极其轻：

pip install experiential
exp

首次运行的设置向导会让你选供应商、模型与推理力度，保存连接，给一个公开别名（如 opus-5）和一次性 Key，并默认给命令设 $50.00 预算上限。之后就能用标准 OpenAI SDK 调用：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

它也提供托管平台 platform.experientiallabs.ai，API 地址为 https://api.experientiallabs.ai/v1，省去自运维。BYOK 支持 OpenAI、Anthropic、Gemini、Azure、Bedrock、Fireworks、OpenRouter 等，按原价格透传，网关本身不加价。

三、从”抓流量”到”训模型”的闭环

这是它区别于普通网关的核心流程：

• 抓流量（Capture）：exp capture 在 macOS 上（需 Python 3.13+）抓取 Codex、Claude Code 桌面端的调用轨迹，请求仍直连官方，网关只做观测；
• 建项目（Build）：exp build support-agent 读取你的 trace 文件，让你选供应商、模型与预算，基于历史流量模拟并优化路由；
• 训自有模型（Optimize）：exp optimize model support-agent 用这些 trace 经其 Tinker 工具微调一个你拥有的开源模型。

也就是说，它不满足于”替你转发请求”，而是把你日常的每一次调用都当作训练路由/小模型的原料。上面的控制台截图里，可以看到按模型拆分的花费（示例中 30 天约 $57,148.51，环比 +1,434%）、Top 模型排行（claude-fable-5、claude-opus-5 等）、活跃 API Key 与每日活动热力图。

四、客观评价：优势与边界

优势：

1. 真·零加价 + BYOK 透传：不赚模型差价，定位中立，适合作为团队统一的模型入口；
2. 治理颗粒度细：按用户/Agent/用例/预算做权限与花费控制，正是企业上 Agent 时缺的那层；
3. 从观测到优化的闭环：把 trace 变成路由、再变成自有微调模型，比单纯”记账”往前走了一步；
4. Apache-2.0、可自托管，数据不出自己的网关。

边界与存疑：

1. Capture 仍是实验性：官方自述仅支持 macOS，macOS 网络可靠性”仍在调查中”，Windows/Linux 用户用不上自动抓包；
2. 遥测默认开启：匿名聚合的 PostHog 产品遥测默认打开（官方称不含 prompt、trace、密钥等内容），但需要手动 exp config telemetry disable 关闭；
3. 早期项目：仓库约 775 次提交、GitHub 星标数百，文档与稳定性仍在快速演进；
4. “训出自有模型”的实际收益待验证：把 trace 微调出一个比直接选模型更划算的专用模型，是这套故事里最吸引人也最难证明的一环，目前更多是愿景。

五、它适合谁

• 同时用多家模型、被账单困扰的团队：需要一个统一入口看清钱花在哪、并做模型路由；
• 重度编程助手/Agent 用户：想把 Claude Code、Cursor 等的调用统一收口、设预算护栏；
• 有一定数据、想沉淀自有路由/小模型的团队：把高频、可分流的请求路由到更便宜的模型，把复杂请求留给旗舰模型。

参考来源

• experientiallabs/experiential GitHub 仓库
• Experiential 托管平台
• Koala 聊开源 科技周报：Experiential AI 模型网关与路由