표 데이터에서 XGBoost가 딥러닝을 이기는 이유

 

 

DL(deep-learning)

AI를 처음 공부할 때는 딥러닝이 모든 문제의 정답이라고 생각했다.

이미지 분류에서 인간 수준의 성능을 보여주고, ChatGPT 같은 대형 언어모델이 등장한 지금 시대에 굳이 다른 방법을 쓸 이유가 있을까 싶었다. 프로젝트를 시작하면 자연스럽게 신경망부터 떠올렸고, 최신 기술을 쓰는 것이 더 좋은 결과로 이어질 것이라고 믿었다.

 

하미자 Kaggle의 표 데이터 대회를 살펴봐도 상위권 솔루션에는 여전히 XGBoost와 LightGBM이 자주 등장한다.

 

딥러닝은 더 복잡한 패턴을 학습할 수 있고, 최신 AI 기술의 중심에 있다. 그런데 왜 금융, 보험, 제조, 고객 이탈 예측 같은 실무 데이터에서는 아직도 트리 기반 모델이 강할까?

이 글은 그 질문에 대한 답이다. 머신러닝과 딥러닝의 차이를 설명하기보다, 실제 프로젝트에서 어떤 상황에 어떤 모델을 고르는 것이 합리적인지, 왜 "최신 기술 = 최고의 성능"이 아닌지를 살펴보려고 한다.

 

 

---

1. AI, 머신러닝, 딥러닝__

먼저 용어를 정리하고 넘어가자.

• AI 는 가장 큰 개념이다. 사람처럼 문제를 해결하는 시스템 전반을 뜻한다. 과거의 규칙 기반 전문가 시스템도 AI에 포함된다.
• 머신러닝(ML) 은 AI의 하위 분야다. 사람이 규칙을 직접 코딩하는 대신 데이터를 통해 패턴을 스스로 학습한다.
• 딥러닝(DL) 은 머신러닝의 하위 분야다. 여러 층의 인공신경망을 쌓아 데이터의 복잡한 표현을 학습한다.

관계를 한 줄로 쓰면 이렇다.

AI ⊃ 머신러닝 ⊃ 딥러닝

ChatGPT는 이 계층에서 가장 아래 끝에 있다. AI이면서 머신러닝이고, 딥러닝이며, 그 중에서도 Transformer 기반의 대형 언어모델(LLM)이다. 일단 이 구조만 알고 넘어가면 된다.

---

 

• AI ⊃ 머신러닝 ⊃ 딥러닝 — 포함 관계로 이해하면 쉽다
• ChatGPT는 Transformer 기반 LLM으로 계층의 가장 끝에 위치한다

---

2. 머신러닝과 딥러닝의 차이:  '누가 특징을 만드느냐' 

Model vs Human

많은 입문서에서는 두 방법의 차이를 데이터 규모, GPU 사용 여부, 신경망의 깊이로 설명한다. 틀린 말은 아니다.

하지만 실무에서 더 중요한 차이는 따로 있다. 특징(feature)을 누가 설계하느냐다.

전통 머신러닝의 방식 — Feature Engineering

전통적인 머신러닝에서는 사람이 특징을 만든다.

이메일 스팸 분류를 예로 들면, 개발자가 직접 이런 변수들을 설계한다.

• 특정 단어의 등장 횟수
• 링크 개수
• 대문자 사용 비율
• 발신자 도메인의 신뢰도

모델은 이렇게 만들어진 특징을 이용해 스팸 여부를 판단한다. 어떤 특징을 어떻게 만드느냐가 결국 성능을 가른다. 그래서 머신러닝에서는 Feature Engineering이 핵심 역량이다.

딥러닝의 방식 — Representation Learning

딥러닝은 접근 방식이 다르다. 사람이 특징을 설계하는 대신 모델이 데이터로부터 직접 학습한다.

이미지 분류를 예로 들면, CNN은 픽셀 데이터를 그대로 입력받아 이렇게 학습한다.

① 초기 층 → 선과 모서리 같은 단순한 패턴 ② 중간 층 → 눈·귀·코 같은 부분 구조 ③ 깊은 층 → 결국 "고양이"라는 개념 자체

특징 추출과 예측을 한 번에 수행하는 이 방식을 Representation Learning이라고 한다. 딥러닝이 이미지, 음성, 자연어 처리에서 강력한 이유가 여기에 있다. 사람이 정의하기 어려운 특징을 스스로 배울 수 있기 때문이다.

---

 

• 머신러닝: 사람이 Feature를 설계 → 모델이 학습
• 딥러닝: 모델이 Feature까지 스스로 학습 (Representation Learning)

---

3. 표 데이터에서 왜 XGBoost가 아직도 강한가

이제 본론이다.

딥러닝의 강점이 발휘되는 환경과 표 데이터의 특성이 잘 맞지 않기 때문이다. 이유는 네 가지로 나뉜다.

① 특징이 이미 잘 만들어져 있다

고객 이탈 예측 데이터를 생각해 보자.

• 나이
• 월 평균 결제 금액
• 최근 로그인 횟수
• 가입 기간
• 최근 구매 여부

이 변수들은 이미 사람이 의미 있는 형태로 가공한 정보다. 특징 추출이 상당 부분 끝난 상태다. 딥러닝이 원시 데이터에서 표현을 새롭게 발견하는 강점이 여기서는 발휘될 여지가 줄어든다.

② 데이터 규모가 충분하지 않은 경우가 많다

딥러닝은 많은 데이터가 필요하다. 이미지 분류 모델은 수백만 장, LLM은 인터넷 규모의 텍스트를 쓴다.

하지만 실제 기업 데이터는 수만~수십만 건인 경우가 일반적이다. 파라미터 수가 많은 딥러닝 모델은 이런 환경에서 과적합되기 쉽다. XGBoost는 상대적으로 적은 데이터에서도 안정적으로 동작한다.

③ 트리 기반 앙상블의 구조적 강점이 있다

이런 조건을 생각해 보자.

• 나이가 30세 이상이고
• 연봉이 일정 수준 이상이며
• 최근 구매 이력이 존재한다

이런 조건 분기는 결정트리가 가장 자연스럽게 배우는 패턴이다. 게다가 결측치 처리와 범주형 변수 처리에서도 강점이 있다. Kaggle의 표 데이터 대회에서 상위권 참가자들이 XGBoost와 LightGBM을 기본 모델로 쓰는 이유도 여기에 있다.

④ 해석이 필요하다

은행이 대출 심사를 한다고 가정하자. 고객이 거절당했을 때 "AI가 그렇게 판단했습니다"로는 안 된다. 어떤 요소가 결정에 영향을 미쳤는지 보여줘야 한다.

XGBoost는 Feature Importance나 SHAP 값으로 이런 설명이 비교적 쉽다. 딥러닝은 여전히 블랙박스 성격이 강하다.

---

 

• ① 표 데이터는 이미 Feature가 잘 정의되어 있다
• ② 소규모 데이터에서 딥러닝은 과적합 위험이 크다
• ③ 조건 분기 패턴은 트리 기반 모델이 자연스럽게 처리한다
• ④ 해석 가능성이 필요할 때 XGBoost가 유리하다

---

4. 딥러닝이 실제로 강한 영역은 따로 있다

딥러닝이 별로라는 뜻이 아니다. 특정 분야에서는 사실상 경쟁자가 없다.

이미지가 대표적이다. 고양이 사진을 보고 고양이라는 걸 판단하는 문제에서, 귀 모양이나 털 패턴을 사람이 수치로 완벽하게 정의하는 건 불가능에 가깝다. CNN은 이런 특징을 자동으로 학습한다.

텍스트도 마찬가지다. "은행"이라는 단어 하나만 봐서는 금융기관인지 강변인지 알 수 없다. 문맥을 이해해야 한다.

Transformer 기반 모델은 이 문맥 정보를 학습하는 데 매우 강하다.

음성 역시 발음, 억양, 주변 단어와의 관계까지 고려해야 하는 복잡한 데이터다.

사람이 특징을 직접 설계하기 어려운 데이터일수록 딥러닝이 강하다.

---

 

• 이미지·텍스트·음성 → 딥러닝 압도적 우위
• 공통점: 사람이 Feature를 직접 정의하기 어려운 데이터

---

5. ChatGPT는 어디에 속하나 — Transformer 이야기

오늘날 AI 열풍의 중심에는 Transformer가 있다.

2017년 발표된 "Attention Is All You Need" 논문 이후 자연어 처리 분야는 완전히 바뀌었다. 기존 RNN은 문장을 순서대로 읽었다. 문장이 길어질수록 앞부분 정보를 잊어버리는 구조적 한계가 있었다.

Transformer는 문장 전체를 동시에 보고 단어 간 관계를 계산한다. "그녀는 사과를 먹었다. 그것은 달콤했다"에서 "그것"이 "사과"를 의미한다는 걸 학습할 수 있다. 병렬 연산도 가능해서 학습 효율도 함께 올라갔다.

GPT, BERT, T5, LLaMA가 모두 이 계열이다. ChatGPT는 GPT 계열이고, GPT는 Transformer 기반이다.

AI → 머신러닝 → 딥러닝 → Transformer → LLM → ChatGPT

보다 자세한 내용은 아래 블로그글을 참고하여라.

 

2026.06.03 - [주저하지말고 주저리주저리] - 왜 Transformer는 RNN을 대체했을까? ChatGPT의 시작, Attention Is All You Need

왜 Transformer는 RNN을 대체했을까? ChatGPT의 시작, Attention Is All You Need

 

---

 

• Transformer는 문장 전체를 동시에 처리해 RNN의 한계를 극복했다
• GPT, BERT, LLaMA 모두 Transformer 기반 — ChatGPT도 마찬가지다

---

6. 실무에서 모델 선택의 기준

프로젝트를 시작하면 보통 아래 순서로 생각한다.

데이터 형태 우선 고려 모델

표 데이터	XGBoost, LightGBM
이미지	CNN
텍스트	Transformer
음성	딥러닝 기반 모델
데이터가 적음	전통 머신러닝
설명 가능성이 중요	트리 기반 모델

 

표 데이터라면 일단 XGBoost나 LightGBM으로 베이스라인을 먼저 잡는다. 충분한 성능이 나오면 그걸로 끝이다. 이미지나 텍스트라면 처음부터 딥러닝을 고려한다.

중요한 것은 최신 기술이 아니라 문제에 맞는 기술이다.

---

 

• 표 데이터 → XGBoost / LightGBM 베이스라인 먼저
• 이미지·텍스트 → 딥러닝
• 설명 가능성이 중요하면 → 트리 기반 모델

---

7. 과적합, 그리고 정확도만 보면 안 되는 이유

모델을 평가할 때 초보자가 가장 많이 하는 실수 중 하나는 정확도만 보는 것이다.

100명 중 95명이 정상이고 5명이 암 환자인 데이터가 있다고 하자. 모두 정상이라고 예측해도 정확도는 95%다. 하지만 이 모델은 실제로 아무 가치가 없다. 암 환자를 단 한 명도 찾지 못했기 때문이다.

그래서 의료, 보안, 사기 탐지 같은 분야에서는 Accuracy뿐 아니라 Precision, Recall, F1 Score, ROC-AUC 같은 지표를 함께 본다.

특히 암을 놓치는 비용이 정상을 암으로 오진하는 비용보다 훨씬 클 때는 Recall이 Accuracy보다 훨씬 중요하다.

좋은 모델은 높은 점수를 얻는 모델이 아니라 실제 문제를 잘 해결하는 모델이다.

---

 

• 정확도 95%가 항상 좋은 모델이 아니다
• 의료·보안 분야에서는 Recall이 Accuracy보다 중요할 수 있다

---

8.  다음 공부 방향 및 시사점

머신러닝과 딥러닝 개념은 알지만 실제 프로젝트에서 무엇을 선택해야 할지 고민하는 분들, 그리고 딥러닝이 모든 문제를 해결할 것이라고 생각했던 분들에게 이 글이 닿았으면 한다.

 

공부 방향을 제안한다면, 의외로 딥러닝보다 XGBoost를 먼저 제대로 다뤄보는 걸 권한다. 실제 데이터 분석 프로젝트를 해보면 데이터 전처리와 Feature Engineering이 모델 자체보다 중요한 경우가 많다. 

통계에 대해서 공부해봤던 입장으로, 거창한 ai의 딥러닝과 학습보다, 순수한 전처리 가공을 통한 회귀분석만으로도 충분한 경우가 많다.

 

① XGBoost로 고객 이탈 예측이나 대출 연체 예측 같은 표 데이터 프로젝트를 해보고 ② 이후 CNN으로 이미지 분류를 해보면

두 접근 방식의 차이가 책으로 읽을 때보다 훨씬 선명하게 잡힌다.

 

ChatGPT가 세상을 바꿨다고 해서 모든 문제를 Transformer로 풀 필요는 없다. 엑셀처럼 생긴 데이터 앞에서는 지금도 XGBoost가 가장 현실적인 선택인 경우가 많다.

 

중요한 것은 최신 기술을 쓰는 것이 아니라 문제에 맞는 도구를 선택하는 것이다. 그것이 머신러닝을 공부하면서 가장 먼저 익혀야 할 감각이라고 생각한다.