Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/ko: Difference between revisions

Latest revision as of 07:19, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

'''LLM Gateway''': If you must use a vendor LLM API, it is better to implement an internal company LLM Gateway for audit, subscription and cost management across the company. Implementing an internal company LLM Gateway can streamline LLM usage, subscriptions, and data tracking for security audits. This central hub simplifies management and ensures efficient resource allocation. At NVIDIA IT, we have implemented an LLM Gateway that logs the inbound and outbound payloads for audit purposes and this data is guarded with access control permissions. Our LLM Gateway helps manage the subscriptions and costs of LLM API invocations.

LLM 게이트웨이: 벤더 LLM API를 사용해야 한다면, 회사 전반의 감사, 구독 및 비용 관리를 위해 내부 회사 LLM 게이트웨이를 구현하는 것이 좋습니다. 내부 회사 LLM 게이트웨이를 구현하면 LLM 사용, 구독 및 데이터 추적을 보안 감사 목적으로 간소화할 수 있습니다. 이 중앙 허브는 관리가 간편해지고 자원의 효율적인 할당을 보장합니다. NVIDIA IT에서는 감사 목적으로 인바운드 및 아웃바운드 페이로드를 기록하는 LLM 게이트웨이를 구현했으며, 이 데이터는 접근 제어 권한으로 보호됩니다. 우리의 LLM 게이트웨이는 LLM API 호출의 구독 및 비용 관리를 돕습니다.