Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/ko

LLM 게이트웨이: 벤더 LLM API를 사용해야 한다면, 회사 전반의 감사, 구독 및 비용 관리를 위해 내부 회사 LLM 게이트웨이를 구현하는 것이 좋습니다. 내부 회사 LLM 게이트웨이를 구현하면 LLM 사용, 구독 및 데이터 추적을 보안 감사 목적으로 간소화할 수 있습니다. 이 중앙 허브는 관리가 간편해지고 자원의 효율적인 할당을 보장합니다. NVIDIA IT에서는 감사 목적으로 인바운드 및 아웃바운드 페이로드를 기록하는 LLM 게이트웨이를 구현했으며, 이 데이터는 접근 제어 권한으로 보호됩니다. 우리의 LLM 게이트웨이는 LLM API 호출의 구독 및 비용 관리를 돕습니다.