# pip install litellm
from litellm import completion
response = completion(
model="gpt-4o", # 또는 "anthropic/claude-3.5-sonnet", "google/gemini-1.5-pro" 등
messages=.
## LiteLLM과 OpenRouter 비교
OpenRouter는 단일 토큰으로 다수의 모델을 집계하며 간단한 라우팅, 공개 속도 제한, 마켓플레이스 느낌을 제공합니다. 반면 LiteLLM은 오픈소스이며 직접 인프라에서 운영합니다.
- 제어: LiteLLM은 개인 제어권 제공, OpenRouter는 호스팅 집계기.
- 비용 투명성: LiteLLM은 직접 공급자 키 사용, OpenRouter는 오픈라우터 비용 및 추가 수수료 발생 가능.
- 컴플라이언스: LiteLLM을 자체 호스팅하면 데이터 거주 및 규정 준수가 용이.
TrueFoundry의 비교는 각 전략적 차이점과 상황별 최적 선택을 명확히 합니다.
## LangChain, LlamaIndex와의 비교
- LangChain: 체인, 에이전트, 도구, 메모리 등 광범위 오케스트레이션 프레임워크. LiteLLM은 LangChain 내에서 모델 추상화 용도로 사용 가능.
- LlamaIndex: 데이터 중심 RAG 프레임워크. LiteLLM은 그 위의 LLM 계층 역할 수행 가능.
- 네이티브 SDK (OpenAI, Anthropic, Google): 최적화된 기능 완비지만 다중 공급자 전환에는 부적합.
모델 교체성과 깔끔한 거버넌스가 필요하면 LiteLLM이 맞춤형 도구입니다. 에이전트 프레임워크나 복잡한 RAG 파이프라인이 필요하다면 LangChain/LlamaIndex와 함께 사용하세요.
## 성능과 신뢰성
- 지연: 직접 호출 대비 아주 적은 오버헤드 있으나 라우팅 및 프록시 논리가 소폭 추가됩니다. 대가로 장애 조치와 정책 제어를 얻음.
- 신뢰성: 중앙 집중식 재시도 및 공급자 장애 조치 덕분에 프로덕션 앱의 가동 시간 향상.
- 비용 최적화: 일상 업무에는 저렴한 모델, 중요 경로에는 고급 모델 사용.
팁: 로그와 트레이싱으로 계측하세요. 많은 팀이 LiteLLM 게이트웨이 로그를 관찰 스택에 전달합니다.
## 보안 및 컴플라이언스 고려사항
- 키 관리: 제공자 키는 안전하게 저장하고 환경 변수나 보관소(Vault) 활용.
- 감사 가능성: 중앙 프록시가 쿼리, 응답 메타데이터, 지출 기록.
- 데이터 처리: 자체 호스팅 시 데이터 거주 및 프라이버시 보증 가능.
## 가격 및 라이선스
- LiteLLM 자체는 오픈 소스이며, 모델 사용 비용은 공급자에게 직접 지불. 이로써 락인 감소, 비용 투명성, 교체 자유 획득.
- 운영 비용: 프록시 운영 시 서비스(컨테이너, 모니터링, 온콜) 비용 예산 필요.
## 언제 LiteLLM을 선택해야 하나
LiteLLM 선택 조건:
- 다수 공급자를 지금 또는 곧 지원해야 할 때
- 중앙 집중식 속도 제한, 예산, 관찰이 필요할 때
- 전반적으로 OpenAI 스타일 사용성 선호 시
- 프로덕션 신뢰성 확보를 위한 장애 조치 필요 시
대안 고려 조건:
- 한 공급자만 호출하며 최첨단 기능이 절실할 때
- 출시와 동시에 공급자 특화 기능이 반드시 필요할 때
- 게이트웨이 서비스 운영을 원치 않을 때
## 효과적인 구현 패턴
1) 단일 앱 단순 추상화
- Python SDK 사용
- 1~2개 장애 조치 모델 설정
- 응답과 비용을 앱 텔레메트리에 기록
2) 조직 전체 게이트웨이
- Kubernetes 또는 ECS에서 프록시 운영
- 조직 단위 속도 제한 및 할당량 적용
- 팀 또는 프로젝트별 청구용 요청 태깅
- 라우팅 정책 추가 (예: 저비용 기본 모델, 프로덕션 최적 정확도)
3) RAG + LiteLLM
- LlamaIndex/LangChain으로 검색 로직 구현
- LiteLLM을 모델 계층으로 연결해 공급자 유연성 확보
## 개발자 경험: 장점과 아쉬운 점
- 장점: OpenAI SDK에서 간편한 전환, 탄탄한 모델 지원, 안정적 장애 조치.
- 아쉬운 점: 일부 공급자 특유 문제 가끔 발생, 도구/함수 호출 완벽 호환 어려움도. 릴리스 노트 주시하고 버전 고정 권장.
개발자 커뮤니티는 빠르게 진화하는 LLM 라이브러리의 견고한 엔지니어링 강화를 요구해왔으며, 이는 LiteLLM 도입 시에도 중요한 관점입니다.
## 결론: LiteLLM은 가치가 있는가?
LiteLLM은 공급자마다 코드를 다시 작성하지 않고도 복수 모델 전략을 쉽게 구축하는 방법 중 하나입니다. 공급자 유연성, 장애 조치를 통한 가동 시간, 비용 통제가 중요한 로드맵이라면 강력히 추천합니다. 한 공급자에 매진하며 출시 첫날부터 모든 신기능을 원한다면 네이티브 SDK를 쓰세요.
참고로, 다양한 프롬프트와 모델을 나란히 실험할 친숙한 인터페이스가 필요하다면 [Sider.AI](https://sider.ai) 같은 도구가 공급자 평가 및 라우팅 정책 결정 전 프롬프트 시험, 빠른 비교에 유용합니다.
## 빠른 시작 체크리스트
- LiteLLM SDK 또는 프록시 설치
- 기본 및 장애 조치 모델 정의
- 조직 단위 속도 제한과 예산 설정
- 로그와 추적 중앙 집중화
- 공급자별 기능(도구, 이미지, JSON 모드) 테스트
- 버전 고정 및 모델 매트릭스 문서화
## 앞으로 할 일
- 공급자별 헬스 체크 및 서킷 브레이커 추가
- 프로덕션에서 품질과 비용 비교하는 A/B 라우터 구축
- 공급자 추가/제거 마이그레이션 플레북 제작
### FAQ
Q1: LiteLLM이란 무엇이며, 왜 사용하나요?
LiteLLM은 100개 이상의 LLM을 단일 OpenAI 호환 API로 호출할 수 있게 하는 오픈 소스 게이트웨이 및 SDK입니다. 공급자 전환, 장애 조치 설정, 중앙 집중식 속도 제한과 비용 추적에 유용합니다.
Q2: LiteLLM은 OpenRouter와 어떻게 다른가요?
LiteLLM은 자체 호스팅 가능하고 오픈 소스라 공급자 키에 대한 개인 제어권을 제공하며, OpenRouter는 호스팅 집계기입니다. 컴플라이언스와 제어가 필요하면 LiteLLM, 다수 모델에 빠르게 접근하려면 OpenRouter 선택.
Q3: LiteLLM이 LangChain이나 LlamaIndex를 대체할 수 있나요?
아니요. LiteLLM은 모델 추상화와 라우팅에 중점입니다. 에이전트, 체인, RAG 파이프라인 필요 시 LangChain이나 LlamaIndex와 병용하세요.
Q4: LiteLLM은 장애 조치와 재시도를 지원하나요?
네. 장애 조치 체인을 정의해 한 공급자가 실패하거나 속도 제한 시 자동으로 다음 모델을 시도, 프로덕션 신뢰성을 높입니다.
Q5: LiteLLM은 무료인가요?
LiteLLM은 오픈 소스라 라이선스 비용은 없지만, 근간 모델 사용료는 공급자에게 지불합니다. 프록시 운영 시 호스팅과 모니터링 같은 운영 비용은 고려해야 합니다.