LiteLLM

两种用法。作为 Python SDK 时,它把 OpenAI、Anthropic、Gemini、Bedrock、Azure 等上百家 provider 的调用统一成 OpenAI 格式,换 provider 不改代码。作为 AI Gateway(Proxy Server) 时,它是一个部署在自己基础设施里的集中入口,提供虚拟 key、按 key 的花费追踪与预算、护栏、多实例负载均衡与失败重试,以及一个管理后台 —— 这一层解决的是「团队里谁在用哪个模型、花了多少、出问题怎么切」这类运维问题,而不是推理本身。许可证不是单一协议:enterprise/ 目录另有商业授权,其余部分为 MIT。

社区实测

LiteLLM 是多模型统一接入的事实标准，上手简单，但代理性能差、内存占用高，2026 年供应链攻击事件后社区对其安全性信任下降，部分用户开始寻求替代方案。

• 多 LLM 提供商统一 API 路由与代理接入
• 上手简单，开箱即用

• 代理服务器资源消耗大，轻量场景下运行缓慢、内存占用可达 GB 级别
• 复杂的 GitHub Actions 发布流程引入了供应链攻击面，安全性存疑
• 即使有安全顾虑，部分场景下 LiteLLM 仍难以被完全替代

来源

r/Python on Reddit: Introducing liter-llm: a Rust-based alternative to LiteLLMr/Python on Reddit: After the supply chain attack, here are some litellm alternativesr/LocalLLaMA on Reddit: After the supply chain attack, here are some litellm alternativesr/cybersecurity on Reddit: Largest AI Supply Chain Breach of 2026: LiteLLM Hack Impacts Thousands

截至 2026-08-16