이 글은 구글이 새롭게 발표한 TabFM이라는 파운데이션 모델에 대해 소개하고 있습니다. TabFM은 테이블 데이터 분류 및 회귀 작업을 획기적으로 단순화하여, 기존 모델들이 필요로 했던 복잡한 수동 작업과 하이퍼파라미터 튜닝 없이도 높은 정확도의 예측을 가능하게 해줍니다. 이 모델은 특히 제로샷 예측과 인컨텍스트 학습(ICL) 방식을 활용하여, 데이터 과학자들이 겪었던 많은 어려움을 해소할 것으로 기대됩니다.

1. 테이블 데이터 모델링의 새로운 접근 방식 🚀

TimesFM 출시 이후 시계열 예측 분야에서 큰 변화가 있었던 것처럼, 구글은 이제 테이블 데이터에도 동일한 "제로샷(zero-shot)" 논리를 적용하여 TabFM이라는 새로운 파운데이션 모델을 선보입니다. 이 모델은 테이블 데이터의 분류와 회귀 워크플로우를 간소화하는 것을 목표로 합니다.

엔터프라이즈 데이터 인프라의 핵심을 이루는 테이블 데이터는 고객 이탈 예측이나 금융 사기 식별과 같은 중요한 예측 머신러닝 애플리케이션의 상당 부분을 담당하고 있습니다. 오랫동안 AdaBoost, XGBoost, 랜덤 포레스트와 같은 지도 학습 기반의 트리 알고리즘들이 이러한 구조화된 데이터에서 강력한 성능을 보여주며 주류를 이뤄왔습니다.

하지만 이러한 전통적인 모델을 배포하는 과정은 상당한 병목 현상을 초래했습니다. 새로운 데이터셋에 XGBoost 모델을 적용하는 것은 단순히 .fit() 단계를 거치는 것 이상의 복잡한 과정이었습니다. 데이터 과학자들은 원본 데이터에서 신뢰할 수 있는 신호를 추출하기 위해 수많은 시간을 들여 광범위한 하이퍼파라미터 최적화와 도메인별 특징 엔지니어링을 수행해야 했습니다. 🤯

반면, 최근 머신러닝 분야의 발전, 특히 대규모 언어 모델(LLM)의 진화는 우리가 새로운 작업과 상호작용하는 방식을 변화시켰습니다. LLM은 인컨텍스트 학습(ICL)을 통해 놀라운 제로샷 예측 능력을 보여주었습니다. 이 기술은 사전 훈련된 모델이 기본 모델 가중치를 업데이트하지 않고도 입력 컨텍스트에 예시와 지침을 제공함으로써 새로운 작업을 학습할 수 있도록 합니다.

그리고 드디어, 테이블 데이터 분류 및 회귀를 위해 특별히 설계된 파운데이션 모델인 TabFM이 공개되었습니다! TabFM은 테이블 예측을 ICL 문제로 재구성함으로써 수동 모델 훈련, 하이퍼파라미터 튜닝, 복잡한 특징 엔지니어링의 필요성을 없앱니다. 이 접근 방식을 통해 사용자들은 이전에 보지 못했던 테이블에 대해서도 단 한 번의 순방향 패스로 고품질 예측을 생성할 수 있게 되었습니다. TabFM은 현재 Hugging Face와 GitHub 저장소에서 사용 가능합니다. 🚀

2. TabFM의 작동 원리 🧐

기존 머신러닝 패러다임은 주어진 데이터셋의 분포에 맞춰 모델 파라미터를 업데이트하는 방식에 의존합니다. 이와 대조적으로, ICL 패러다임은 이 과정을 완전히 건너뜁니다. TabFM은 각 새로운 작업에 대해 전통적인 훈련 단계를 거치는 대신, 전체 데이터셋—과거 훈련 예시와 목표 테스트 행을 모두 포함—을 단일한 통합 프롬프트로 취급합니다. 모델은 추론 시 이 컨텍스트로부터 열과 행 사이의 관계를 직접 해석하는 법을 학습합니다.

하지만 ICL을 테이블 데이터에 적용하는 것은 자연어를 토큰화하는 것만큼 간단하지 않습니다. 표준 언어 모델은 1차원적이고 순서가 있는 시퀀스를 처리하지만, 테이블은 근본적으로 2차원적이며 본질적으로 순서가 없습니다. 즉, 두 행이나 두 열을 바꿔도 데이터의 근본적인 의미는 변하지 않습니다.

이러한 다양한 테이블 구조를 효과적으로 처리하면서 확장 가능한 제로샷 예측을 가능하게 하기 위해, TabFM은 TabPFN과 TabICL과 같은 아키텍처의 강점을 새로운 하이브리드 설계에 통합했습니다. 아래 시각화된 이 아키텍처는 세 가지 핵심 메커니즘에 의존합니다:

• 교차 행 및 열 어텐션: 첫째, 원본 테이블은 다층 어텐션 모듈을 통해 처리됩니다. TabPFN과 유사하게, 이 단계는 열(특징)과 행(예시) 모두에 걸쳐 교차 어텐션을 적용합니다. 이 두 차원에 걸쳐 지속적으로 어텐션을 수행함으로써 모델은 복잡한 특징 상호작용과 의존성을 자연스럽게 포착하는 풍부한 표현을 학습합니다. 이 깊은 컨텍스트화는 데이터 과학자들이 수동으로 복잡한 특징을 생성해야 했던 번거로운 작업을 효과적으로 수행합니다.
• 행 압축: 이 컨텍스트화 후, 각 개별 행에 대한 풍부하고 교차 어텐션된 정보는 단일하고 밀집된 벡터 표현으로 압축됩니다.
• 인컨텍스트 학습(ICL): 마지막으로, 전용 트랜스포머가 압축된 임베딩 시퀀스에서 작동합니다. TabICL의 매우 효율적인 접근 방식을 채택하여, 원본의 압축되지 않은 그리드가 아닌 이러한 압축된 행 벡터에 대한 어텐션을 수행함으로써 계산 비용을 획기적으로 줄입니다. 이를 통해 훨씬 더 큰 데이터셋에서도 예측 단계가 매우 효율적으로 유지될 수 있습니다.

3. 대규모 합성 데이터셋을 통한 훈련 📊

파운데이션 모델을 구축하는 일반적인 방법은 방대한 양의 다양한 데이터로 고용량 신경망을 훈련시키는 것입니다. 그러나 테이블 머신러닝의 주요 장애물은 고품질의 다양하고 대규모 테이블 데이터셋—특히 실제 산업 데이터 분석을 반영하는 데 필요한 방대한 테이블—이 오픈 소스 공간에서는 극도로 부족하다는 점입니다. 산업용 테이블은 종종 독점적인 스키마와 민감한 정보를 포함하여 광범위한 사전 훈련에 접근하기 어렵습니다. 😥

합성 테이블은 임의로 크게 생성될 수 있기 때문에, 이러한 규모에서 파운데이션 모델을 사전 훈련하는 데 효과적으로 유일한 실행 가능한 옵션입니다. 결과적으로, TabFM은 수억 개의 합성 데이터셋으로 전적으로 훈련됩니다. 이러한 데이터셋은 다양한 무작위 함수를 통합하는 구조적 인과 모델(SCM)을 사용하여 동적으로 생성됩니다. 이 방대한 합성 생성은 실제 테이블 데이터에 널리 퍼져 있는 다양한 분포와 복잡한 특징 관계를 포착합니다. 그 결과, 모델은 아래 벤치마크에서 보여주는 것처럼 이전에 보지 못했던 실제 테이블에도 잘 일반화됩니다. 👍

4. 뛰어난 성능과 벤치마킹 결과 🏆

기존의 최첨단 방법들과 TabFM을 엄격하게 테스트하기 위해, 구글은 TabArena라는 실시간 벤치마크 시스템에서 TabFM을 평가했습니다. TabArena는 일대일 승률을 기반으로 엘로(Elo) 점수를 계산합니다. 이 포괄적인 평가는 700개에서 150,000개에 이르는 다양한 크기의 38개 분류 데이터셋과 13개 회귀 데이터셋을 포함합니다.

성능 그래프에서 볼 수 있듯이, 구글은 모델의 두 가지 구성에 대한 벤치마크를 수행했습니다:

• TabFM: 이는 모델의 기본(out-of-the-box) 기능을 나타냅니다. 예측은 단 한 번의 순방향 패스로 생성되며, 튜닝이나 교차 검증이 필요 없습니다.
• TabFM-Ensemble: 이 구성은 교차 특징과 SVD(특이값 분해) 특징을 통합하여 성능을 더욱 향상시킵니다. 비음수 최소 제곱 솔버를 사용하여 32-way 앙상블에 대한 최적 가중치를 계산합니다. 분류 작업의 경우, 이 변형은 추가 보정 단계로 플랫 스케일링(Platt scaling)도 포함합니다.

TabArena 벤치마크 결과에 대한 더 자세한 정보—각 폴드별 상세 메트릭과 특정 기준 모델에 대한 일대일 승률 포함—는 구글의 GitHub 페이지에서 확인하실 수 있습니다. 📈

결론 🎉

테이블 예측을 인컨텍스트 학습 문제로 재구성함으로써, TabFM은 하이브리드 어텐션 아키텍처와 방대한 합성 훈련 데이터를 활용하여 복잡한 특징 상호작용을 자연스럽게 포착합니다. 이 접근 방식은 수동 특징 엔지니어링, 하이퍼파라미터 최적화, 반복적인 모델 훈련이라는 전통적인 병목 현상을 성공적으로 제거하며, 고도로 튜닝된 산업 표준 지도 학습 알고리즘보다 일관되게 뛰어난 성능을 보입니다. TabFM은 현대 파운데이션 모델의 즉각적인 편리함을 테이블 ML 워크플로우에 직접 가져와, 실무자들이 단 한 번의 순방향 패스로 매우 정확한 예측을 생성할 수 있도록 지원합니다.

TabFM은 접근성을 높이기 위해 Google BigQuery에 직접 통합될 예정입니다. 몇 주 안에 사용자들은 BigQuery에서 간단한 AI.PREDICT SQL 명령을 사용하여 고급 회귀 및 분류를 수행할 수 있게 될 것입니다. 머신러닝 전문 지식이 전혀 필요 없습니다! 정말 기대되네요! 😄

감사의 말씀 🙏

이 프로젝트는 Erez Louidor Ilan, Taman Narayan, Shuxin Nie, Rajat Sen, Yichen Zhou, Joe Toth, Deqing Fu, Samet Oymak과의 공동 작업입니다. 그래픽 디자인을 담당한 Kimberly Schwede에게도 감사의 말씀을 전합니다.