What is the best LiteLLM tutorial for beginners?

Start with the LiteLLM Crash Course on YouTube for a quick visual walkthrough, then read the official Getting Started guide for the proxy. The DataCamp tutorial provides practical examples you can copy.

How do I use LiteLLM as an OpenAI-compatible proxy?

Run the LiteLLM proxy and point your SDK’s base URL to the proxy’s `/v1` endpoints. Keep provider details in the LiteLLM config so your application code stays portable.

Can LiteLLM route between OpenAI, Anthropic, and Gemini automatically?

Yes. Define models and routing strategies in the LiteLLM config to switch between providers by latency, cost, or quality. You can also set fallbacks for reliability.

How do I enable streaming and tool/function calling with LiteLLM?

Use the OpenAI-compatible API via LiteLLM and enable `stream=True` (or SSE in your SDK). For tool calling, follow the OpenAI function-calling format—LiteLLM forwards it to the target provider.

What’s the fastest way to control costs with LiteLLM?

Centralize requests through the proxy, enable usage logging, and enforce per-key rate limits and budgets. Route different workloads to cost-optimized models and pin versions to avoid surprises.

最佳 LiteLLM 教程：你的 2025 年 LLM 网关精通指南

如果你正在将 OpenAI、Azure OpenAI、Anthropic、Gemini、本地模型以及介于它们之间的一切整合在一起，那么 LiteLLM 就是你一直在寻找的瑞士军刀。它充当一个可直接替换的、与 OpenAI 兼容的层和代理，因此你的应用程序可以使用一种语言，同时你在后台更换模型、供应商和定价。挑战是什么？弄清楚从哪里开始，以及哪些资源真正值得你花时间。

这份实用、以解决方案为导向的指南精选了 2025 年最佳 LiteLLM 教程，展示了每个资源适合哪些人，以及通往生产环境的最快路径。我们将结合快速入门、深度探索和经过实战检验的模式，你可以直接复制。

到最后，你将清楚地知道首先应该观看或阅读哪些 LiteLLM 教程，如何启动 LiteLLM 代理，以及如何与 OpenAI SDK、流式传输、重试、速率限制、模型路由和可观测性集成。

—

什么是 LiteLLM（以及为什么团队对其赞不绝口）？

LiteLLM 提供了一个与 OpenAI 兼容的 API 和 SDK，使你可以：

使用一个接口路由到多个提供商（OpenAI、Azure OpenAI、Anthropic、Google、Cohere、Together、Ollama 等）。

部署一个集中式代理（LLM 网关）以标准化身份验证、日志记录、成本跟踪和策略。

无需重写你的应用程序即可更换模型。

如果你正在构建多 LLM 应用程序，LiteLLM 就是连接组织。官方文档非常强大，现在一些第三方教程也涵盖了实际用例。

—

2025 年 10 大最佳 LiteLLM 教程

以下是顶级资源，它们适合哪些人，以及你将学到什么——按清晰度、完整性和生产相关性排序。

1) LiteLLM 速成课程 | 适合完全的初学者（视频）

最适合：视觉学习者和希望在一小时内完成端到端设置的开发人员。

优点：涵盖安装、Python SDK 基础知识，以及如何集成与 OpenAI 兼容的调用，并提供流式传输等核心功能的演示。

如果你以前从未使用过 LiteLLM，请从这里开始。

观看：LiteLLM Crash Course | For Complete Beginners.

2) DataCamp: LiteLLM — 包含实际示例的指南（文章）

最适合：喜欢代码优先、复制粘贴示例的开发人员。

优点：从“hello world”到流式响应，展示了如何进行基本的 API 调用并扩展你的使用模式。

阅读：LiteLLM: A Guide With Practical Examples.

3) 官方文档：LiteLLM 入门（文档）

最适合：需要使用代理/网关、策略和路由迁移到生产环境的团队。

优点：关于何时使用代理、如何连接多个提供商、配置模型和集中访问的明确指导。

阅读：LiteLLM — Getting Started.

4) 使用 LiteLLM 代理构建与 OpenAI 兼容的 API

你将学到什么：在本地启动 LiteLLM 代理，为多个提供商设置环境变量，创建一个统一的 /v1/chat/completions 端点。

重要原因：大多数生产团队都基于代理进行标准化，以解锁可观测性和策略。

将其与官方入门指南和你喜欢的语言 SDK 配对使用。

5) 多提供商路由和回退

你将学到什么：配置提供商列表、健康检查和自动回退以处理中断或速率限制。

重要原因：保持你的应用程序的弹性。例如，将主路由设置为 GPT-4o，如果延迟峰值则回退到 Claude 3.5 或 Gemini。

6) 成本控制和使用情况监控

你将学到什么：如何记录每次请求的成本，实施配额，以及按团队/应用程序标记使用情况。

重要原因：LiteLLM 可以成为你跨供应商的单一管理平台。在你的首席财务官要求你这样做之前，添加警报和预算。

7) 流式传输、工具使用和结构化输出

你将学到什么：实现服务器发送事件 (SSE) 流式传输、函数/工具调用和 JSON 模式输出。

重要原因：现代 AI 应用程序依赖于快速、交互式的 UX 和可靠的函数调用。LiteLLM 通过其与 OpenAI 兼容的接口支持这些模式。

8) 本地 + 云混合：通过 LiteLLM 使用 Ollama

你将学到什么：通过 Ollama 将 LiteLLM 指向本地模型，同时保持云模型可用，然后按任务、延迟或成本进行路由。

重要原因：在本地运行私有任务，突发到云以处理复杂的提示。

9) 速率限制、重试和断路器

你将学到什么：配置每个模型的速率限制、指数退避和快速失败模式。

重要原因：防止惊群效应并提高负载下的可靠性。

10) 可观测性：日志、跟踪和编辑

你将学到什么：集中来自所有提供商的日志和跟踪，编辑 PII，并将遥测数据发送到你喜欢的 APM/分析工具。

重要原因：如果没有网关，调试多 LLM 应用程序会很痛苦；LiteLLM 使其变得易于处理。

—

快速入门：你使用 LiteLLM 的前 15 分钟

观看速成课程并浏览文档后，请按照此流程操作。

安装并设置密钥

pip install litellm
export OPENAI_API_KEY=sk-...
# 可选：更多提供商
export ANTHROPIC_API_KEY=...
export GOOGLE_API_KEY=...

单文件、与 OpenAI 兼容的聊天

from litellm import completion
resp = completion(
model="gpt-4o", # 或 "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- 运行上面的快速入门代码。
- 目标：通过 LiteLLM 发出你的第一个与 OpenAI 兼容的请求。
- 实践构建者
- 阅读 DataCamp 教程，并通过流式传输和重试扩展示例。
- 添加两个提供商并测试回退。
- 团队/生产所有者
- 学习官方入门指南。
- 启动代理，添加可观测性和成本跟踪。
- 实施速率限制和 PII 编辑策略。
—
## 深入探讨：你每周都会使用的模式
### OpenAI 兼容性作为接口契约
- 将 OpenAI 的 API 形状视为你的应用程序契约。所有请求都发送到你的 LiteLLM 代理的 `/v1/*` 端点。
- 通过配置而不是代码来更换模型（例如，`gpt-4o` → `claude-3-5`）。
### 按用例进行模型路由
- 对延迟敏感的路径：路由到快速、更便宜的模型。
- 推理路径：路由到更高质量的模型，用于检索增强生成 (RAG) 或工具使用。
- 隐私路径：路由到本地/Ollama 以处理 PII 片段。
### 成本防护栏
- 使用 `user_id`/`team` 标记请求。
- 设置每个团队/模型的预算。
- 将令牌使用情况记录到中央存储并发出异常警报。
### 弹性
- 启用带抖动的重试。
- 配置每个提供商的超时和重复失败时的断路器。
- 定义提供商优先级和显式回退。
### 可观测性
- 捕获请求/响应元数据、延迟直方图和模型/版本。
- 在日志中编辑密钥/PII。
- 关联跨服务的跟踪，以快速找到慢速调用。
—
## LiteLLM 代理配置示例（生产就绪入门）
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- 一篇实用、以示例驱动的文章。
- 用于入门和代理最佳实践的官方 LiteLLM 文档。
—
## 行动计划：你的未来 7 天
第 1-2 天：完成速成课程和快速入门；发出你的第一个代理请求。
第 3-4 天：添加第二个提供商和流式传输；设置超时、重试。
第 5 天：使用配置启动代理；按用例（延迟 vs 推理）进行路由。
第 6 天：添加日志记录、成本跟踪和编辑。
第 7 天：负载测试；模拟提供商故障；验证回退。
—
## 主要收获
- LiteLLM 是无需供应商锁定的多提供商 LLM 应用程序的最快路径。
- 从与 OpenAI 兼容的接口开始，然后升级到代理以进行治理。
- 尽早投资于路由、弹性和可观测性——你将在第二周而不是第六个月需要它们。
- 上面的教程涵盖了你每天将使用的 80%；其余的是你产品的独门秘方。
### 常见问题解答
Q1: 哪个 LiteLLM 教程最适合初学者？
首先观看 YouTube 上的 LiteLLM 速成课程，以获得快速的可视化演练，然后阅读官方入门指南以了解代理。DataCamp 教程提供了你可以复制的实际示例。
Q2: 如何将 LiteLLM 用作与 OpenAI 兼容的代理？
运行 LiteLLM 代理并将你的 SDK 的基本 URL 指向代理的 `/v1` 端点。将提供商详细信息保留在 LiteLLM 配置中，以便你的应用程序代码保持可移植性。
Q3: LiteLLM 可以在 OpenAI、Anthropic 和 Gemini 之间自动路由吗？
可以。在 LiteLLM 配置中定义模型和路由策略，以按延迟、成本或质量在提供商之间切换。你还可以设置回退以提高可靠性。
Q4: 如何使用 LiteLLM 启用流式传输和工具/函数调用？
通过 LiteLLM 使用与 OpenAI 兼容的 API，并启用 `stream=True`（或你的 SDK 中的 SSE）。对于工具调用，请遵循 OpenAI 函数调用格式——LiteLLM 将其转发到目标提供商。
Q5: 使用 LiteLLM 控制成本的最快方法是什么？
通过代理集中请求，启用使用情况日志记录，并实施每个密钥的速率限制和预算。将不同的工作负载路由到成本优化的模型并固定版本以避免意外。