Article Source

• Large Language Models for Program Optimization

Large Language Models for Program Optimization

• Large Language Models for Program Optimization
• Speaker: Osbert Bastani

Abstract

Large language models (LLMs) have proven to be surprisingly effective at code generation, making them a promising tool for scaling program synthesis. In this talk, I will describe PIE, a dataset for training LLMs for program optimization based on competitive programming tasks. We benchmark a variety of different techniques using PIE, including in-context learning, chain-of-thought prompting, retrieval-augmented generation, and performance-conditioned finetuning; our strongest models exceed human performance. I will also discuss Eureka, a system that leverages LLMs for synthesizing reward functions in reinforcement learning that outperform human-engineered reward functions. Finally, I will discuss the potential for conformal prediction to improve the trustworthiness of such systems.

대형 언어 모델과 프로그램 합성의 미래

대형 언어 모델(LLM)은 코드 생성에서 놀랍도록 효과적이라는 것이 입증됨으로써 프로그램 합성 확장을 위한 유망한 도구가 되었습니다. 이 발표에서는 PIE 데이터 세트에 대해 설명할 것이며, 이 데이터 세트는 LLM을 훈련하여 경쟁 프로그래밍 과제를 기반으로 프로그램 최적화를 수행하도록 만든 것입니다.

PIE 데이터 세트를 활용하여 상황 인식 학습, 사고 과정 프롬프팅, 검색 강화 생성, 성능 조건 미세 조정 등 다양한 기술을 벤치마킹할 것이며, 최고 성능 모델은 인간 성능을 뛰어넘습니다. 또한 LLM을 활용하여 강화 학습에서 보상 함수를 합성하는 시스템인 유레카(Eureka)에 대해서도 논의할 것이며, 이 시스템은 인간이 설계한 보상 함수보다 뛰어난 성능을 보여줍니다. 마지막으로 이러한 시스템의 신뢰성을 높이기 위한 적합 예측(conformal prediction)의 잠재력에 대해 논의할 것입니다.

주요 내용

• LLM을 활용한 프로그램 합성
• PIE 데이터 세트: 경쟁 프로그래밍 기반 프로그램 최적화 훈련
• 다양한 LLM 훈련 기술 (상황 인식 학습, 사고 과정 프롬프팅 등)
• 인간을 뛰어넘는 LLM 성능
• 유레카: 강화 학습을 위한 LLM 기반 보상 함수 합성 시스템
• 적합 예측을 통한 시스템 신뢰성 향상

Bio

Osbert Bastani is an assistant professor at the Department of Computer and Information Science at the University of Pennsylvania. He is broadly interested in techniques for designing trustworthy machine learning systems. Previously, he completed his Ph.D. in computer science from Stanford and his A.B. in mathematics from Harvard.