LiteLLM Proxy

LiteLLM Proxy是什么

LiteLLM Proxy 属于开源自建网关，主要用于连接 OpenAI、Anthropic、Gemini、Bedrock、Vertex 等模型。它的价值在于统一 Base URL、API Key、模型路由、余额和配置入口；风险也在这里：你的输入输出、密钥、账单和日志可能经过该平台。

新手图文接入流程

注册 Key Base URL

新手三步走

1. 注册后先看模型价格和免费额度。
2. 创建低额度测试 Key，不要直接用生产 Key。
3. 把 Base URL、API Key、模型名填进客户端。

快速判断

• 风险中
• 计费开源/企业版；模型费用另计
• 模型OpenAI、Anthropic、Gemini、Bedrock

配置参数怎么填

1. Endpoint / Base URL从平台文档复制 OpenAI-compatible 地址，常见形式类似 https://example.com/v1。
2. API Key为测试、个人、生产分别创建不同 Key，设置限额并定期轮换。
3. Model填写平台给出的精确模型名，不要只写“GPT”或“Claude”这种泛称。
4. 测试 Prompt先用“请只回复 pong”验证连通，再测试流式输出、长文本、图片或工具调用。

适合谁用

• 个人开发测试适合低敏 prompt、小额余额和模型横向比较，不建议上传客户资料或公司核心代码。
• AI 应用团队适合做模型备用通道、价格对比、快速试新模型和统一配置管理。
• 企业项目如果是生产系统，优先选择官方云、自建网关或可审计平台，并准备合规评估。
• 站长业务可做透明教程和导购，不要包装成共享账号、代充或绕过平台限制的服务。

风险核验清单

• 是否清楚写明模型来源、模型版本、上下文长度和价格。
• 是否说明输入输出、日志、Key、余额和账号数据如何保存。
• 是否支持退款、发票、工单、限额、失败重试和异常扣费申诉。
• 是否存在共享账号、代充、伪官方镜像或诱导绕过平台条款的宣传。
• 生产应用是否保留官方 API、国内模型或自建网关作为备用通道。

关联模型页面

这些模型页会反向链接到本中转/聚合入口，方便用户从模型介绍直接进入配置决策。

官网与文档