Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/46/zh

《大模型與小模型》：大型商業LLM和小型開源LLM在許多用例中越來越具有可行性，從而為公司提供了具有成本效益的替代方案。隨着開源模型逐漸趕上大型商業模型，它們在準確性上越來越接近，如我們在NVHelp機械人實證評估中的圖3所示，並且通常在延遲性能上優於大型模型。此外，GPU優化的推理模型可以進一步加快處理時間。例如，使用NVIDIA的Tensor RT-LLM推理庫優化的開源模型，性能比未優化的模型更快。這些策略有助於在保持高性能和安全標準的同時，平衡成本效益的需求。