Cost and Efficiency (비용과 효율성)

모델 학습 및 추론과 관련된 비용은 종종 간과되지만, 실제로는 모델 아키텍처 설계, 데이터 믹스 선택, 서비스 가격 책정 등과 같은 많은 의사 결정에 영향을 미칩니다. 본 절에서는 모델의 유용성을 경제적으로 향상시키기 위한 다양한 시도들을 소개하고자 합니다.

데이터 경제

데이터는 모델 성능에 매우 중요한 역할을 하며, 어떤 데이터를 추가해야 성능이 향상될지, 데이터 제공자에게 어떻게 합리적인 대가를 지불해야 할지, 불필요한 데이터를 제거하여 모델을 더욱 강건하게 만들 수 있는지 등의 질문에 답하기 위해 다양한 연구가 진행되었습니다.

• 데이터 가치: 셰플리 값(Shapley value)과 같은 게임 이론의 개념을 활용하여 데이터의 중요도를 정량적으로 측정하고, 데이터 샘플링, 클리닝, 가격 책정, 이상치 탐지 등에 활용할 수 있습니다.
• 데이터 추적: TracIn과 같이 그래디언트 정보를 활용하여 개별 학습 예제의 영향력을 추적하는 방법도 있습니다.
• 데이터 스코프: 다양한 ML 알고리즘과 데이터 변환 과정을 거쳐 학습 데이터의 셰플리 값을 효율적으로 계산하는 end-to-end 시스템입니다.

데이터 가치를 정확하게 평가함으로써 데이터 제공자들의 참여를 유도하고, 더욱 건강하고 강건한 데이터 중심 생태계를 구축할 수 있습니다.

모델 결합

여러 개의 특화된 모델을 조합하여 시스템 전체의 성능을 향상시키는 모델 결합(MC)은 별도의 학습 없이도 성능을 향상시키고, 다양한 작업에 대한 일반화 능력을 높일 수 있는 매력적인 방법입니다.

• FrugalGPT: 다양한 LLM에 질의를 순차적으로 전달하고, 학습된 스코어링 함수를 통해 중간 결과를 반환할지 여부를 결정하여 비용을 절감하고 품질을 향상시킵니다.
• 가중치 평균: 다수의 LLM 가중치를 단순 평균하는 방법부터, 작업별 가중치 조정, 다중 모달 인코더 병합, 학습된 라우팅 함수 기반 병합, SLERP, 가중치 경사 하강법 등 다양한 방법이 연구되었습니다.
• 연합 학습: CoID Fusion과 같이 모델 가중치만을 교환하여 데이터 프라이버시를 보장하면서 협력 학습을 수행하는 방법도 있습니다.
• 복합 시스템: AIOS와 같이 다수의 LLM 에이전트를 운영 체제에 통합하여 더욱 복잡하고 다양한 작업을 수행할 수 있도록 하는 시스템도 제안되었습니다.

모델 결합은 복잡한 시스템을 구성할 수 있지만, 다수의 LLM을 최적화하고, 시스템의 오류를 탐지하고 수정하며, 다양한 구성 요소를 위한 데이터 파이프라인을 설계하는 등 해결해야 할 과제들이 많습니다.

핵심 키워드: 모델 비용, 데이터 가치, 셰플리 값, 모델 결합, 연합 학습, 복합 시스템