Prof. Judy Fan: Cognitive Tools for Making the Invisible Visible

Abstract

• BCS Colloquium, co-hosted by the MIT Quest for Intelligence, March 20, 2025.

In the 17th century, the Cartesian coordinate system was groundbreaking. It exposed the unity between algebra and geometry, accelerating the development of the math that took humans to the moon. It was not just another concept, but a cognitive tool that people could wield to express abstract ideas in visual form, thereby expanding their capacity to think and generate new insights about a variety of other problems. Research in my lab aims to uncover the psychological mechanisms that explain how humans have come to deploy these technologies in such innovative ways to learn, share knowledge, and create new things. In the first part of this talk, I will provide an overview of our work investigating drawing — one of humanity’s most enduring and versatile tools. Across several empirical and computational studies, I’ll argue that drawing not only provides a window into how people perceive and understand the visual world, but also accelerates the ability to learn and communicate useful abstractions. In the second part of this talk, I will preview an emerging line of work in our lab investigating the cognitive foundations of data visualization — one of humanity’s more recent inventions for making the invisible visible. I will close by noting the broader implications of embracing the continually expanding suite of cognitive tools for accelerating the development of new technologies for augmenting human intelligence.

Bio

Judy Fan is an Assistant Professor of Psychology at Stanford University. Research in her lab aims to reverse engineer the human cognitive toolkit, especially how people use physical representations of thought to learn, communicate, and solve problems. Towards this end, her lab employs converging approaches from cognitive science, computational neuroscience, and artificial intelligence. She held a previous faculty appointment at the University of California, San Diego, earned her PhD in Psychology from Princeton University, and received her AB in Neurobiology and Statistics from Harvard College.

To learn more about the MIT Quest for Intelligence, visit quest.mit.edu.

시각적 추상화

사람들은 시각적 추상화를 사용하여 세계에 대한 지식과 개념을 소통합니다. 특히, 시각적 추상화는 우리가 보고 아는 것을 무엇에 주목하는 것이 관련 있는지 강조하는 형식으로 전달하는 데 활용됩니다. 이는 보이지 않는 것을 보이게 만드는 기술과 깊이 연결되어 있습니다.

사람들이 시각적 추상화를 통해 소통하는 내용은 다음과 같습니다.

• 의미론적 지식: 사물이 어떻게 생겼는지.
• 기계론적 지식: 사물이 어떻게 작동하는지.
• 데이터에서 얻은 정량적 통찰: 패턴이나 현상을 파악하는 데 도움을 줍니다.

사람들은 다양한 인지 도구 또는 기술을 통해 시각적 추상화를 사용합니다. 이러한 도구는 우리 마음에 영향을 미치도록 정보를 인코딩하는 물질적 객체입니다. 역사적인 예시로는 수직선과 직교 좌표계, 동굴 벽에 남긴 표시, 진화론을 시각화한 다윈의 핀치새 그림, 갈릴레오의 망원경 관측, 라몬 이 카할의 망막 그림, 파인만 다이어그램 등이 있습니다. 현대에는 손으로 그린 그림 및 데이터 시각화(플롯)가 중요한 예시입니다. 데이터 시각화는 망원경이나 현미경처럼 직접 볼 수 없는 세계의 부분을 드러내지만, 이러한 광학 기술과 달리 너무 크거나, 노이즈가 많거나, 너무 느려서 우리 눈으로 볼 수 없는 패턴과 현상을 볼 수 있게 해줍니다.

사람들이 시각적 추상화를 사용하여 소통하는 방식은 다음과 같은 측면을 포함합니다.

• 시각적 지각, 시각적 생산, 시각적 의사소통의 결합: 시각적 추상화를 통한 의사소통은 원시 감각 입력을 의미 있는 지각 경험으로 변환하는 시각적 지각, 환경에 흔적을 남기는 표시를 생성하는 시각적 생산, 그리고 다른 사람들의 마음에 영향을 미치기 위해 그래픽 요소를 배열하는 시각적 의사소통 과정이 함께 일어납니다.
• 유사성과 관습: 그림은 현실의 사물을 닮았기 때문에 의미를 가지기도 하지만, 관습의 문제로 간주되기도 합니다. 사람들은 다른 사람들로부터 어떤 그림이 어떤 사물이나 의미와 연결되는지 배웁니다. 일반 목적의 시각 알고리즘도 희소한 스케치에 대해 상당한 일반화 능력을 보이는데, 이는 최신 유사성 기반 설명을 지지하는 것으로 해석될 수 있습니다. 하지만 정적인 결정론적 설명으로는 우리가 실제로 사용하는 다양한 그래픽 표현을 설명하기 어렵습니다.
• 맥락 민감성: 사람들은 그림 게임 실험에서와 같이 현재의 참조 맥락에 따라 묘사 방식을 쉽게 조절합니다. 식별해야 할 대상이 다른 대상들과 비슷할 때는 더 상세하고 충실한 그림을 그리고, 다른 대상들과 명확히 다를 때는 범주 수준의 추상화를 사용하여 더 희소한 그림을 그립니다. 이는 의사소통 목표와 맥락이 사람들이 그림을 그리는 방식을 이해하는 데 얼마나 중요한지를 보여줍니다.
• 관련 정보의 강조: 설명 그림을 그릴 때, 사람들은 외관상 유사하지만 작동과 관련 없는 부분(비인과적 부분)보다 작동과 관련된 부분(인과적 부분)에 더 많은 스트로크를 할애합니다. 또한 배경보다 기호적인 표시(화살표 등)에 더 많은 잉크를 사용합니다. 이는 설명의 경우 시각적 충실도를 희생하고 추상적인 기계론적 정보를 강조한다는 점에서 분리 가능한(dissociable) 가설과 더 일관적입니다. 반면 묘사는 외관과 배경을 더 강조하는 경향이 있습니다.
• 새로운 그래픽 관습의 출현: 동일한 사람과의 이전 상호작용에 대한 기억이 새로운 그래픽 관습을 출현시킬 수 있으며, 시간이 지남에 따라 의미가 공유된 역사에 더 강하게 의존하는 원시 기호적인 표현이 나타날 수 있습니다.
• 데이터 시각화 이해: 플롯을 이해하는 것은 기저의 여러 작업들을 필요로 합니다. 사람들은 자신들의 인식론적 목표(데이터셋에 대해 궁금한 질문)를 달성하기 위해 어떤 플롯이 적합한지에 대한 직관을 공유합니다. 비전문가들도 특정 플롯 기능이 특정 질문에 답하는 데 적합한지를 판단할 수 있습니다.

인간과 인공지능 시스템의 비교 연구에 따르면, AI 모델은 스케치 이해 및 생성을 포함한 시각적 추상화 작업에서 상당한 발전을 이루었지만, 인간과의 성능 격차 및 오류 패턴의 차이가 여전히 존재합니다. 이는 현재의 모델이 인간의 시각적 추상화 능력을 완전히 포착하지 못하고 있음을 시사합니다.

결론적으로, 사람들은 시각적 추상화를 통해 사물의 모습, 작동 방식, 데이터의 패턴 등 다양한 종류의 지식을 소통하며, 이는 맥락에 따라 상세 수준을 조절하고 관련 정보를 선택적으로 강조하는 전략을 통해 이루어집니다. 이러한 능력은 인간의 학습, 발견, 혁신에 핵심적인 역할을 하며, 특히 과학 및 교육 분야에서 중요한 도구로 활용됩니다.

인지 도구를 혁신하는 이유

인간이 인지 도구를 혁신하는 이유는 이러한 도구들이 학습, 발견, 그리고 ‘보이지 않는 것을 보이게 만드는’ 능력의 핵심에 있기 때문입니다.

인지 도구 또는 기술은 우리 마음에 영향을 미치도록 의도된 정보를 인코딩하는 물질적 객체입니다. 이러한 도구의 혁신은 인간의 세상을 이해하고 변화시키는 능력과 깊이 연결되어 있습니다.

인간이 인지 도구를 혁신하는 구체적인 이유와 목적은 다음과 같습니다.

1. 보이지 않는 것을 보이게 만들기 위해서: 인지 도구는 우리의 눈으로 직접 볼 수 없는 세계의 측면을 드러내는 기술입니다. 망원경이나 현미경처럼 직접 관찰 범위를 확장하거나, 데이터 시각화(플롯)처럼 너무 크거나, 노이즈가 많거나, 너무 느려서 우리 눈으로 볼 수 없는 패턴과 현상을 볼 수 있게 해줍니다. 이는 세계에 대한 우리의 이해를 확장하는 데 필수적입니다.
2. 세계에 대한 지식과 개념을 소통하기 위해서: 시각적 추상화를 활용한 인지 도구는 우리가 보고 아는 것을 무엇에 주목하는 것이 관련 있는지 강조하는 형식으로 전달합니다. 사물의 모습(의미론적 지식), 작동 방식(기계론적 지식), 데이터에서 얻은 정량적 통찰 등 다양한 종류의 지식을 효과적으로 전달할 수 있게 합니다.
3. 새로운 발견을 촉진하고 어려운 문제를 해결하기 위해서: 직교 좌표계와 같은 도구는 “사고를 위한 정말 첨단적인 도구”였으며 새로운 수학적 발견을 이끌었습니다. 이것은 수천 년 동안 풀리지 않았던 문제를 해결하는 데 도움이 되었습니다. 데이터 시각화는 과학적 추론의 근본적인 구성 요소인 추론적 움직임(underlying structure 추론)을 지원합니다.
4. 새로운 것을 창조하고 세계를 재설계하기 위해서 (공학적 측면): 우리가 도구를 통해 얻은 세계에 대한 깊이 있는 이해는 물리적 세계를 우리의 설계에 따라 재설계하고 새로운 기술을 만드는 것을 가능하게 합니다. 생물학적 통찰을 생명 공학으로, 물리 이론을 첨단 물리 기기로, 신경 과학을 의료 기기로, 양자 역학을 현대 전자로 전환하는 것 등이 이러한 능력에 의해 주도됩니다. 이러한 “공학적 절반”을 진지하게 고려하지 않고는 우리가 아는 세상이 어떻게, 왜 생겨났는지 설명할 수 없을 것이라고 주장됩니다. 연구 목표 중 하나는 유용한 추상화를 발견하는 방법과 그 추상화를 새로운 것을 만드는 데 적용하는 방법에 대한 이론을 개발하는 것입니다.
5. 우리의 마음과 사고방식에 영향을 미치기 위해서: 인지 도구는 정보가 우리 마음에 영향을 미치도록 인코딩되어 우리의 생각과 사고방식을 변화시킵니다. 데이터 시각화는 사람들이 복잡한 세상에 대한 자신의 믿음을 업데이트하고 조정하는 강력한 도구입니다.
6. 교육과 세상을 개선하기 위해서: 인지 도구는 교육과 세상을 더 나은 곳으로 만드는 것이라는 두 가지 가장 영향력 있고 생산적인 활동의 핵심에 있습니다. 이러한 도구는 다음 세대가 이전 세대의 어깨 위에 서서 더 멀리 볼 수 있게 하고, 복잡하고 변화하는 세상에 대한 학습자들의 이해를 조정하도록 돕습니다. 도구를 이해하고 개선하는 것은 우리가 세상을 지속적으로 재구상하고 현실로 만드는 데 중요합니다.

요약하자면, 인간은 인지 도구를 혁신함으로써 우리의 인지적 한계를 확장하고, 복잡한 세계를 이해하며, 지식을 효과적으로 소통하고, 새로운 발견을 하고, 세상을 변화시키는 능력을 끊임없이 향상시키고자 합니다.

Research Questions

인지 도구와 데이터 시각화의 관계를 이해하는 데 핵심적인 질문들은 Judy Fan 교수의 강연에서 다음과 같이 제시됩니다.

먼저, 인지 도구 또는 기술은 우리의 마음에 영향을 미치고 우리가 생각하는 방식을 바꾸기 위해 정보를 부호화하는 물리적 대상으로 정의됩니다. 수직선과 직교 좌표계가 초기 예시로 언급됩니다. 데이터 시각화(차트, 그래프)는 너무 크거나, 너무 복잡하거나, 너무 느려서 직접적으로 인지할 수 없는 패턴과 현상을 볼 수 있게 해주는 현대적이고 영향력 있는 기술로 소개됩니다. 이는 유한한 증거로부터 한 개인이 직접 관찰하기 어렵거나 불가능한 세상의 측면에 대해 배우는 데 도움을 줍니다. 시각화는 복잡한 세상에 대한 우리의 믿음을 업데이트하고 조정하는 강력한 도구이며, 비즈니스 및 정부에서 증거 기반 의사 결정의 초석이라고 설명됩니다.

Judy Fan 교수의 연구 그룹은 이러한 인지 도구의 개발 및 혁신 과정, 그리고 사람들이 이를 사용하는 방식을 설명하는 심리학적 이론을 발전시키는 것을 목표로 합니다. 특히 데이터 시각화와 관련하여 탐구하는 핵심 질문들은 다음과 같습니다.

• 플롯(Plots) 이해에 필요한 근본적인 조작은 무엇인가? 사람들은 그래프를 읽고 해석하기 위해 어떤 기본적인 인지적 과정을 수행하는가? 이는 기계 학습 시스템을 활용하여 데이터 시각화에 대한 질문을 처리하게 하고, 인간과의 일치성을 평가하며, 차이가 발생하는 원인을 탐구하는 방식을 통해 연구됩니다.
• 적절한 플롯을 선택하는 능력은 무엇인가? 사람들은 데이터셋에 대한 특정 “인식적 목표(epistemic goal)”나 질문에 답하기 위해 어떤 그래프를 선택하는가? 이는 데이터로 답할 수 있는 질문들을 만들고, 참가자들에게 가능한 그래프 메뉴를 제시한 후 그들의 선택 분포를 측정함으로써 연구됩니다. 이를 통해 질문에 답하는 데 관련된 플롯의 특징에 대한 민감성 등 가설적인 전략들을 테스트합니다.
• 시각화 이해를 가장 잘 측정하는 방법은 무엇인가? 사람들이 데이터 시각화를 얼마나 잘 이해하는지를 어떻게 정확하게 측정할 수 있는가? 이는 기존의 테스트(예: GGR, Vlat)를 분석하고, 이 테스트들이 측정하는 기술의 특징을 파악하며, 오류 패턴을 조사하고, 개선된 측정 방법을 개발하는 것을 포함합니다. 기존 평가 방법이 시각화 이해 기술을 최적으로 측정하지 못하며, 전통적인 과업 분류로 잘 설명되지 않는 근본적인 요인이 오류 패턴의 많은 부분을 설명하는 것으로 나타났습니다.
• 시각화의 인지적 토대는 무엇인가? 데이터 시각화 도구를 사용하고 생성하는 것을 가능하게 하는 인지적 기반은 무엇인가? 시각화의 지각적 및 인지적 토대를 확립하는 것은 학습자들이 복잡하고 변화하는 세상을 이해하도록 돕는 데 중요한 역할을 합니다.
• 새로운 표상이 어떻게 학습되는가? 어린이들이 다양한 종류의 그래프를 쉽게 배우도록 시각적 표상이 어떻게 구성되어야 하는가? 이는 기존의 시각적 및 인지적 발달을 기반으로 새로운 종류의 시각적 입력(그래프)에 익숙해지는 과정과 관련이 있습니다.
• 시각화 해석 시 발생하는 오해와 오류는 무엇인가? 그래프 해석에서 발생하는 오해와 오류는 어떤 양상을 보이며, 이를 모델링하는 최첨단 방법은 무엇인가? 특히 인공지능 시스템이 그래프를 이해할 때 발생하는 오류의 “인간성”과 관련된 청중의 질문은 오해를 진단하는 것의 중요성을 강조합니다.

요약하자면, 인지 도구로서의 데이터 시각화 연구는 사람들이 그래프를 어떻게 이해하고, 사용 목적에 맞게 선택하며, 이러한 이해를 어떻게 측정하고 학습하는지에 대한 근본적인 질문들에 초점을 맞추고 있습니다.

데이터 시각화 이해도 측정

데이터 시각화 이해도를 측정하는 것은 인지 도구로서의 데이터 시각화를 연구하는 데 있어 핵심적인 질문 중 하나입니다. Judy Fan 교수의 연구 그룹은 사람들이 데이터 시각화를 얼마나 잘 이해하는지를 정확하게 측정하는 방법을 탐구하고 있습니다.

데이터 시각화 이해도를 측정하기 위해 현재 사용되고 연구되는 주요 방법들은 다음과 같습니다.

1. 기존의 표준화된 테스트 사용 및 분석: 연구에서는 GGR, Vlat, Calvi, Hul Hul Multi, Chart QA (하위 집합)와 같이 교육, 보건, 시각화, 심리학, 기계 학습 커뮤니티에서 자주 사용되는 6가지 그래프 기반 추론 테스트를 활용합니다.
   • 이 테스트들은 인간 참가자와 멀티모달 AI 시스템 모두에게 가능한 한 동일한 방식으로 실시됩니다.
   • 단순히 전체 점수뿐만 아니라, 생성된 전체 오류 패턴을 기록하여 사람이나 모델이 질문을 잘못 이해하는 방식이 유사한지 평가합니다. AI 모델(GPT4 포함)이 높은 점수를 받더라도 인간과 같은 오류 패턴을 보이지 않는다는 발견은 이러한 오류 분석의 중요성을 보여줍니다.
   • 이러한 기존 테스트들이 실제로 무엇을 측정하는지, 그리고 기술을 최선의 방식으로 측정하는지 여부를 분석합니다. 기존 테스트를 분석한 결과, 전통적인 과업 분류(예: 최대값 찾기, 클러스터 식별)로는 잘 설명되지 않는 다른 근본적인 요인들이 오류 패턴의 상당 부분을 설명하는 것으로 나타났습니다.

2. 성능 벤치마킹을 통한 인간-모델 비교: 인간의 테스트 성능을 최신 기계 학습 시스템의 성능과 비교하는 벤치마크 연구를 수행합니다. 이를 통해 모델과 인간 사이의 체계적인 행동적 차이(cognitive gap)를 식별하고, 이러한 차이가 발생하는 근본적인 원인을 탐구합니다. 현재 모델과 인간 사이에는 의미 있는 격차가 존재하며, 이는 기존의 인기 있는 벤치마크만으로는 놓칠 수 있는 부분입니다.

3. 적절한 플롯 선택 능력 측정: 주어진 데이터셋에 대한 특정 목표나 질문(“인식적 목표”, epistemic goal)에 답하기 위해 어떤 그래프를 선택하는지 측정하는 방식도 사용됩니다.
   • 데이터로 답할 수 있는 질문들을 만들고, 참가자들에게 가능한 그래프 목록을 제시한 후 선택 분포를 측정합니다.
   • 이를 통해 사람들이 질문에 답하는 데 관련된 플롯의 특징에 민감한지 등 가설적인 전략들을 테스트하고 평가합니다.
   • 이는 시각화 이해를 보다 개방형 과업을 사용하여 측정하는 전략으로 제시되었습니다.
4. 오류 패턴 및 오해 모델링: 그래프 해석 시 발생하는 오해와 오류의 양상을 파악하고 모델링합니다. AI 시스템이 그래프를 이해할 때 발생하는 오류의 “인간성”과 관련된 논의는 오해를 진단하는 것의 중요성을 강조합니다. 인간 교육자가 학습자의 오개념을 진단하듯이, 시각화 시스템에서도 오해의 본질을 파악하는 것이 중요합니다.

이러한 연구들은 기존 측정 방법의 한계를 파악하고, 시각화 이해 기술을 최적으로 측정할 수 있는 개선된 측정 방법을 개발하는 것을 목표로 합니다. 궁극적으로는 이러한 측정을 통해 학습자들이 복잡하고 변화하는 세상을 이해하도록 돕는 데 기여하고자 합니다.