예측에서 방정식으로

숫자를 맞히는 모델과 식을 발견하는 모델

전통적 회귀는 모델의 형태를 사람이 먼저 정한다. 선형회귀라면 \(y=ax+b\)라는 틀을 놓고 \(a,b\)를 찾는다. Symbolic Regression은 틀 자체를 탐색한다. 변수와 연산자를 조합해 함수구조를 만들고, 동시에 상수를 최적화한다.

여기서 \(\mathcal H\)는 symbolic expression의 hypothesis space, \(\mathcal L\)은 empirical loss, \(\Omega\)는 structural complexity, \(\lambda\)는 정확도와 간결성 사이의 균형을 뜻한다. 이 식 하나에 Symbolic Regression의 철학이 들어 있다. 잘 맞는 식만 찾는 것이 아니라, 이해할 수 있을 만큼 짧고 구조적으로 의미 있는 식을 찾는다.

원 논문의 Fig. 1은 이 차이를 시각적으로 분명히 한다. black-box model이 prediction을 주는 데 그친다면 Symbolic Regression은 structure discovery, transparency, explainability를 거쳐 explicit equation을 산출한다.

식의 언어는 짧지만 탐색공간은 폭발한다

연산자 \(+,-,\times,\div,\sin,\exp\)와 변수 몇 개만 있어도 가능한 expression tree의 수는 깊이에 따라 조합적으로 증가한다. survey는 Symbolic Regression이 기본적인 산술 연산만으로도 NP-hard라는 이론적 결과를 짚는다. 결국 문제는 세 가지를 동시에 풀어야 하는 데 있다.

그래서 Symbolic Regression은 단순 regression이라기보다 program search, numerical optimization, model selection, scientific prior가 만나는 문제다.

500편 이상을 찾고, 300편 이상을 남겼다

저자들은 Scopus, Web of Science, IEEE Xplore, Google Scholar에서 1992–2025년 문헌을 검색하되 2020년 이후 발전에 무게를 둔다. “symbolic regression”, “genetic programming symbolic”, “neural symbolic regression”, “sparse regression interpretable models”, “equation discovery from data” 등을 주요 검색어로 사용했다.

초기 후보는 500편이 넘었고, 방법론·benchmark·application·theory에 실질적인 기여를 한 300편 이상을 상세 검토 대상으로 남겼다. Symbolic Regression을 주변 구성요소로만 사용한 논문은 제외했다.

탐색을 통제하고 보장을 얻는다

Deterministic 접근은 수학적 프로그래밍, exhaustive enumeration, sparse regression, structured representation을 이용해 search를 체계화한다. stochastic run마다 답이 흔들리지 않는 reproducibility와 이론적 convergence가 강점이다.

AI Feynman은 신경망으로 symmetry와 separability를 찾은 뒤 문제를 재귀적으로 분해한다. SISSO는 correlation screening과 sparse operator를 결합해 거대한 descriptor 후보군에서 저차원 표현을 찾는다. 공통점은 분명하다. 무작정 찾는 대신 문제구조를 이용해 search space를 줄인다.

정답을 보장하기보다 넓게 탐색한다

Koza의 Genetic Programming에서 출발한 metaheuristic 계열은 population을 진화시키며 expression tree를 탐색한다. predetermined structure가 필요 없고 다양한 domain에 적용하기 쉽지만, computational cost, run-to-run variance, constant optimization, bloat가 오래된 난제다.

survey의 metaheuristic 장이 길 수밖에 없는 이유는 GP가 단일 알고리즘이 아니라 하나의 생태계가 되었기 때문이다. selection, representation, crossover, mutation, local search, transfer, semantics, complexity control이 서로 독립적인 연구축을 이룬다.

숫자 집합에서 expression token으로

Neural-symbolic 계열은 deep learning의 representation power를 사용하되 최종 결과를 symbolic expression으로 돌려준다. Seq2Seq-SR, NeSymReS, end-to-end transformer, SymFormer는 numerical observations를 expression skeleton과 constants로 번역하는 계열이다.

survey가 정리한 흐름은 세 단계로 읽을 수 있다. 먼저 structure와 constant를 분리해 찾았다. 다음에는 transformer가 둘을 함께 예측하기 시작했다. 최근에는 MMSR처럼 numeric data와 symbolic expression을 서로 다른 modality로 보고 contrastive alignment까지 도입한다.

데이터에 맞는 식과 과학적으로 가능한 식은 다르다

PINN-SR은 scarce/noisy data에서 governing PDE를 찾기 위해 neural approximation과 sparse regression을 결합한다. Φ-SO는 dimensional analysis를 token generation에 넣어 dimensionally inconsistent expression을 애초에 만들지 않도록 한다. PINN-DPA는 PINN solution을 differentiable program과 pruning을 통해 interpretable expression으로 바꾼다.

survey 전반에서 physics-informed constraint가 반복해서 등장하는 이유다. dimensional homogeneity, conservation law, monotonicity, convexity, boundedness를 search에 넣으면 후보의 수를 줄이는 동시에 scientifically invalid한 식을 거를 수 있다. 물론 그 대가로 domain expert가 prior를 정확히 명시해야 한다.

수학식도 언어처럼 생성할 수 있는가

survey는 MathLM, LA-DSO, SGA, ICSR, LASR, LLM-SR를 advanced neural paradigm으로 묶는다. MathLM은 Wikipedia에서 추출한 798,998개의 수학표현으로 language prior를 학습한다. 저자들은 이 대규모 corpus의 장점과 함께 notation inconsistency, incomplete expression, well-documented domain에 대한 selection bias도 경고한다.

2025년 ICLR의 LLM-SR은 LLM이 만든 식을 실행가능한 Python program으로 표현하고 evolutionary island를 이용해 반복개선한다. 같은 해 RAG-SR은 pretraining 없이 retrieval-augmented semantic library를 이용한다. 이 두 흐름은 “큰 모델이 정답식을 외운다”보다 큰 모델이 search proposal을 만들고 symbolic machinery가 검증·수정한다는 방향이 더 지속가능함을 시사한다.

예시 하나가 식의 방향을 바꿀 수 있다

survey는 future directions에서 in-context symbolic regression의 취약성을 따로 지적한다. demonstration selection이 생성식에 직접 영향을 주므로 잘못된 예시는 invalid expression이나 symbolic hallucination으로 이어질 수 있다. RDES, Meta-Sel 같은 demonstration-selection 방법이 이 문제를 줄이려는 시도다.

전문가를 search loop 밖에 두지 않는다

Interactive-SR은 parameter adjustment, expression prioritization, diagnostics를 사람이 직접 조절하는 UI를 제공한다. RGB2-SR는 pairwise preference와 grammar-constrained suggestion을 search에 넣는다. QUOSR와 APPS는 반대로 시스템이 “어떤 데이터를 다음에 관측해야 가장 많이 배울 수 있는가”를 묻는다.

여기서 Symbolic Regression은 passive curve fitting을 벗어난다. 식 후보를 만들고, 불확실한 영역을 찾아, 필요한 데이터를 다시 요청하는 active scientific discovery loop가 된다.

각 패러다임의 약점을 다른 패러다임으로 메운다

Evolutionary algorithm은 global exploration에 강하지만 constant refinement가 약하다. Neural model은 빠른 proposal을 만들지만 OOD와 formal guarantee가 약하다. Optimization solver는 정확하지만 search space가 커지면 힘들다. Domain constraint는 과학적 타당성을 높이지만 expert specification이 필요하다.

그래서 hybrid system은 역할을 나눈다. neural model이 promising region을 제안하고, evolutionary search가 구조를 변형하고, gradient/least-squares가 coefficient를 맞추고, physics/SMT가 식의 validity를 확인한다.

Hybrid가 항상 정답은 아니다

survey의 실무 가이드는 오히려 절제되어 있다. 변수가 5개 미만이고 noise가 적은 저차원 문제라면 single-paradigm method로 충분할 수 있다. dimensionality와 noise가 올라가거나 domain constraint를 강제해야 할 때 hybrid의 이점이 커진다.

• High-dimensional: feature selection과 expression discovery를 같이 다루는 evolutionary-statistical integration이 유리할 수 있다.
• Noisy / incomplete: transfer-learning, denoising hybrid가 robust한 선택이 된다.
• Physics constrained: shape constraint나 SMT verification으로 domain consistency를 직접 확인한다.

반대로 neural-evolutionary hybrid는 search space 자체가 더 커질 수 있고, small data에서 ensemble overfitting이 생길 수 있으며, inter-paradigm hyperparameter가 새로운 민감도를 만든다. 혼합은 복잡성을 없애는 방법이 아니라 복잡성을 더 잘 배분하는 방법이다.

“잘 맞았다”만으로는 과학적 발견이 아니다

식이 필요한 곳은 생각보다 넓다

원 논문의 Fig. 4는 Symbolic Regression 응용을 physical sciences, chemistry, energy, environmental science, healthcare & bioinformatics, information technology, economics & industry로 펼쳐 보인다. 각 분야는 같은 “interpretable equation”을 원하지만 이유는 서로 다르다.

survey의 cross-domain 분석은 중요한 차이를 짚는다. 물리과학은 exact symbolic recovery를 중시하고, engineering은 real-time robustness를, healthcare는 clinical interpretability와 regulatory acceptance를 더 중시한다. 따라서 method selection은 leaderboard보다 domain objective를 따라야 한다.

다섯 가지 벽

저자들이 제시하는 연구개발 시간축

분야가 수렴하는 세 개의 원칙

300개가 넘는 방법을 읽은 저자들이 마지막에 발견하는 공통점은 의외로 단순하다.

Deterministic method의 guarantee, evolutionary method의 robust exploration, neural method의 speed와 prior, hybrid method의 역할분담이 서로 가까워진다. survey는 이를 단순한 알고리즘 유행이 아니라 robust, interpretable, scalable automated scientific discovery system으로의 수렴으로 읽는다.

과학의 언어를 다시 기계가 쓰기 시작했다

오래전 과학자는 관측값을 보고 방정식을 썼다. 현대의 머신러닝은 그 사이에서 엄청난 예측력을 얻었지만, 종종 식을 잃었다. Symbolic Regression은 시간을 되돌리는 기술이 아니다. deep learning, optimization, evolution, formal methods를 이용해 예측력과 명시적 구조를 다시 같은 자리에 놓으려는 시도다.

그 지점에서 Symbolic Regression은 interpretability tool을 넘어선다. 데이터에서 식을 만들고, 제약으로 검증하고, benchmark로 흔들어 보고, 전문가와 수정하고, 새 데이터를 요청하는 작은 과학방법론의 계산엔진이 된다. 이 survey가 그리는 미래는 자동화된 방정식 생성기가 아니라, 자동화와 해석가능성 사이의 긴장을 관리하는 discovery system이다.