Article Source

• Online A/B Testing of Real-Time Event Detection Systems

Online A/B Testing of Real-Time Event Detection Systems

• Online A/B Testing of Real-Time Event Detection Systems
• Speaker: David Tagliamonti

Abstract

AI models increasingly impact our day-to-day lives. For teams building AI-powered products, the first version of a model is only the first step on a long journey. The ability to quickly iterate on models is key to fast product development and better user experience. A/B testing is one way to test new models before rolling them out. In this talk, we discuss the unique challenges of A/B testing real-time event detection systems, particularly in mission-critical environments, and a specific approach to doing so. Finally, we reflect on our experience using this approach in production for several years.

인공지능(AI) 모델은 우리의 일상 생활에 점점 더 큰 영향을 미치고 있습니다. AI 기반 제품을 만드는 팀에게 모델의 첫 번째 버전은 긴 여정의 첫 걸음일 뿐입니다. 빠른 제품 개발과 향상된 사용자 경험을 위해 모델을 빠르게 반복하는 기능이 중요합니다. A/B 테스팅은 새로운 모델을 출시하기 전에 테스트하는 한 가지 방법입니다. 이 발표에서는 실시간 이벤트 감지 시스템, 특히 미션 크리티컬 환경에서 A/B 테스팅의 고유한 과제와 이를 수행하는 특정 접근 방식에 대해 논의합니다. 마지막으로, 이 접근 방식을 몇 년 동안 실무에 사용한 경험을 돌아봅니다.

Bio

David is a Staff Software Engineer at Ambient AI, where he leads the Forensics product, an AI-powered video investigation platform. He previously held roles as an Applied Research Scientist and later Senior Research Scientist, where he worked on applying the latest advances in Deep Learning for Computer Vision to Ambient’s perception platform. Prior to that, David earned an MS in Computer Science from Stanford University and a BS in Actuarial Mathematics from Concordia University in Montreal, Canada.