목차
딥러닝과 인공신경망의 차이부터 역전파, Transformer, 인공지능 환각까지., 왜 이 기술이 등장했고 현대까지 어떻게 진화했는지를 설명해보려 한다.
ChatGPT등의 LLM을 써보며 다들 한 번쯤 이런 생각이 들었을 것이다.
"이게 뇌랑 비슷하게 만든 거라는데, 그럼 나중엔 의식도 생기는 건가?,
AI가 인간처럼 생각하고 우리를 해치게 될수도 있는건가?"
그 비유는 처음부터 절반쯤 잘못된 것이다.
인공신경망(Artificial Neural Network) 이 뇌에서 영감을 받은 건 사실이지만, 실제로는 뇌와 근본적으로 다른 방식으로 동작한다. 뉴런이 무언가를 "이해"해서 신호를 보내는 것이 아니라, 숫자를 곱하고 더하고 변환하는 연산을 반복할 뿐이다.
한마디로 현재 gpt는 스스로의 학습이 아닌 연산을 좀 많이 하는 계산기일 뿐이다.
그런데 그 단순한 연산이 수십억 번 반복되면 왜 고양이와 개를 구분하고, 코드를 생성하고, 심지어 존재하지 않는 논문까지 그럴듯하게 만들어낼 수 있는 것일까?
신경망이 등장하기 전에 무슨 일이 있었나
1950~60년대 AI 연구자들은 컴퓨터에 지능을 부여하려면 인간이 직접 규칙을 작성해야 한다고 생각했다.
고양이 사진을 인식시키고 싶다면 다음과 같은 규칙을 만드는 방식이다.
- 귀는 삼각형이다.
- 눈은 타원형이다.
- 수염이 존재한다.
문제는 현실이 그렇게 단순하지 않았다는 점이다.
사진의 각도가 조금만 달라져도 실패했고, 조명이나 배경이 바뀌면 규칙은 무용지물이 되었다. 현실 세계의 모든 경우를 사람이 직접 규칙으로 작성하는 것은 사실상 불가능했다.
그 한계를 넘기 위해 등장한 아이디어가 있었다.
규칙을 사람이 만드는 대신, 기계가 데이터에서 스스로 찾아내게 하자.
인공신경망은 바로 이 발상에서 시작되었다.
2026.06.04 - [주저하지말고 주저리주저리] - ChatGPT는 정말 문장을 이해할까? — 다음 단어 예측과 LLM 원리 정리
ChatGPT는 정말 문장을 이해할까? — 다음 단어 예측과 LLM 원리 정리
ChatGPT는 다음 단어를 예측하는 모델이다.그게 LLM의 원리 전부이다.그런데 다음 단어만 예측하는 구조가코드를 짜고,논문을 요약하고,긴 문맥을 따라오고,존재하지 않는 논문을 당당하게 인용한
romancurity.tistory.com
그리고 이것이 바로 딥러닝의 기초이다.
신경망 노드, 인공신경망이란?
"신경망 노드가 뇌세포랑 같은 건가요?"
비슷한 아이디어에서 출발했지만 실제 동작은 상당히 다르다.
신경망 노드(Neuron) 가 수행하는 일은 매우 단순하다.
- 입력값을 받는다.
- 각 입력에 가중치를 곱한다.
- 결과를 모두 더한다.
- 활성화 함수를 적용한다.
- 다음 노드로 전달한다.
수식으로 표현하면 다음과 같다.
y = f(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)
- w : 가중치(Weight)
- b : 편향(Bias)
- f : 활성화 함수(Activation Function)
놀랍게도 현대 AI의 대부분은 결국 이 단순한 계산을 엄청난 규모로 반복하는 과정이라고 볼 수 있다.
왜 활성화 함수가 필요한가
처음에는 단순히 곱하고 더하기만 해도 될 것처럼 보인다.
하지만 선형 연산만 계속 쌓으면 아무리 층을 많이 추가해도 결국 하나의 선형 함수와 동일해진다.
다시 말해,
층을 100개 쌓아도 수학적으로는 층 1개와 크게 다르지 않다.
그래서 활성화 함수가 필요하다.
대표적인 활성화 함수인 ReLU는 다음과 같다.
f(x) = max(0, x)
음수는 0으로 만들고, 양수는 그대로 통과시킨다.
이 단순한 비선형 변환 덕분에 신경망은 직선 하나로는 표현할 수 없는 복잡한 패턴을 학습할 수 있게 된다.
신경망 구조 — 층을 쌓는다는 의미
인공신경망은 일반적으로 세 종류의 층으로 구성된다.
층역할
| 입력층(Input Layer) | 데이터를 받아들임 |
| 은닉층(Hidden Layer) | 특징 추출 및 학습 |
| 출력층(Output Layer) | 최종 결과 출력 |
손글씨 숫자 인식을 예로 들어보자.
28×28 크기의 이미지는 총 784개의 숫자로 변환되어 입력층으로 들어간다.
출력층에서는 0~9까지 각 숫자일 확률이 계산된다.
그렇다면 은닉층은 무엇을 할까?
흥미로운 점은 개발자가 직접 역할을 지정하지 않아도 층마다 자연스럽게 역할이 분화된다는 것이다.
예를 들어 이미지 모델을 분석해 보면,
- 초기 층 → 선, 모서리
- 중간 층 → 곡선, 윤곽
- 깊은 층 → 눈, 코, 얼굴 형태
와 같은 특징을 학습하는 경우가 많다.
이러한 특징 추출 과정이 바로 딥러닝 의 핵심이다.
딥러닝은 신경망의 다른 이름이 아니다
많은 입문서가 딥러닝과 인공신경망을 거의 같은 의미로 설명한다.
하지만 그 차이는 존재한다.
인공신경망은 개념이고, 딥러닝은 그 신경망을 깊게 쌓는 방법이다.
여기서 Deep은 은닉층의 깊이를 의미한다.
하지만 층을 많이 쌓는다고 성능이 자동으로 좋아지는 것은 아니다.
오히려 과거에는 깊게 쌓을수록 학습이 어려워지는 문제가 존재했다.
기울기 소실 문제
신경망 구조에서 학습은 역전파(Backpropagation) 로 이루어진다.
예측 결과가 틀렸을 때 그 오차를 거꾸로 전달하며 가중치를 수정하는 방식이다.
문제는 초기 신경망에서 사용하던 Sigmoid 함수였다.
층이 많아질수록 오차 신호가 점점 작아져 입력층 근처까지 거의 전달되지 않았다.
이를 기울기 소실(Vanishing Gradient) 이라고 부른다.
결과적으로 앞쪽 층은 거의 학습되지 못했다.
이 문제는 다음과 같은 기술 발전으로 완화되었다.
- ReLU 활성화 함수
- Batch Normalization
- GPU 병렬 연산
딥러닝이 성공한 이유는 단순히 층을 많이 쌓아서가 아니라, 깊은 네트워크를 안정적으로 학습할 수 있게 되었기 때문이다.
역전파 — 신경망은 어떻게 학습하는가
신경망 학습의 목표는 단 하나다.
예측값과 실제 정답의 차이를 최소화하는 것
이 차이를 수치로 나타낸 것이 손실 함수(Loss Function)이다.
학습 과정은 크게 다음과 같다.
순전파 (Forward Pass)
입력 데이터
↓
가중치 연산
↓
활성화 함수
↓
예측 결과
역전파 (Backward Pass)
손실 계산
↓
Gradient 계산
↓
가중치 수정
↓
재학습
신경망은 이 과정을 수천 번, 수만 번 반복하며 점점 더 정확한 예측을 수행하게 된다.
왜 50년 된 아이디어가 2010년대에 폭발했을까
흥미롭게도 인공신경망 자체는 새로운 기술이 아니다.
- 1943년 : 초기 신경망 모델 제안
- 1986년 : 역전파 알고리즘 발표
- 2012년 : 딥러닝 대중화 시작
하지만 최근 딥러닝의 대중화가 시작된 이유는, 세 가지 조건이 동시에 충족되었기 때문이다.
| 데이터 | 수천~수만 건 | 수십억 건 |
| 연산 능력 | CPU 중심 | GPU 병렬 처리 |
| 알고리즘 | Sigmoid 위주 | ReLU, BN, Dropout |
2012년 AlexNet이 ImageNet 대회에서 압도적인 성능을 보여주면서 딥러닝 시대가 본격적으로 열렸다.
Transformer — 신경망의 진화인가, 대체인가
2017년 발표된 Transformer 는 현대 AI의 흐름을 바꾼 아키텍처다.
기존 RNN 계열 모델은 문장을 순서대로 처리했다.
그래서 문장이 길어질수록 앞부분 정보를 잊어버리는 문제가 발생했다.
Transformer는 다른 접근법을 사용했다.
Attention 메커니즘 을 이용해 문장 전체를 동시에 바라보는 방식이다.
예를 들어 문장의 한 단어가 다른 모든 단어와 얼마나 관련 있는지를 한 번에 계산한다.
이 방식은 병렬 처리에 매우 유리했고, 대규모 학습에도 적합했다.
하지만 중요한 사실이 있다.
Transformer도 결국 거대한 인공신경망이다.
Attention 역시 행렬 연산과 활성화 함수 위에서 동작한다.
ChatGPT, Claude, Gemini 같은 최신 AI 역시 근본적으로는 신경망을 기반으로 학습된다.
2026.06.03 - [주저하지말고 주저리주저리] - 왜 Transformer는 RNN을 대체했을까? ChatGPT의 시작, Attention Is All You Need
왜 Transformer는 RNN을 대체했을까? ChatGPT의 시작, Attention Is All You Need
ChatGPT, Claude, Gemini등, 지금 우리가 사용하는 거의 모든 생성형 AI의 공통 조상은 Transformer다.그리고 그 Transformer는 2017년 발표된 단 한 편의 논문, Attention Is All You Need 에서 시작됐다.흥미로운 점은
romancurity.tistory.com
인공지능 환각 — 왜 AI는 자신 있게 틀릴까
ChatGPT가 존재하지 않는 논문을 인용하거나 가짜 정보를 사실처럼 말하는 현상을 본 적이 있을 것이다.
이를 인공지능 환각(Hallucination) 이라고 부른다.
많은 사람들이 이것을 단순 버그라고 생각하지만, 사실은 신경망의 특성과 관련이 있다.
신경망은 사실을 저장하는 데이터베이스가 아니다.
학습 데이터에서 통계적 패턴을 익힌 뒤 가장 가능성이 높은 다음 토큰을 생성할 뿐이다.
그래서 존재하지 않는 논문도 다음과 같은 패턴을 만족하면 만들어낼 수 있다.
- 논문 제목 형태
- 저자 이름 형태
- 학술지 이름 형태
형식적으로는 매우 그럴듯하지만 실제로는 존재하지 않을 수 있다.
현재는 이러한 문제를 줄이기 위해 RAG 같은 기술이 널리 사용되고 있다.
지금 이걸 알아야 하는 이유
AI 분야는 매우 빠르게 변하고 있다.
CNN이 주목받던 시기가 있었고, LSTM이 각광받던 시기도 있었다.
지금은 Transformer 기반 모델이 시장을 주도하고 있다.
앞으로 또 다른 구조가 등장할 수도 있다.
하지만 다음 개념들은 쉽게 사라지지 않는다.
- 신경망 구조
- 가중치
- 활성화 함수
- 손실 함수
- 역전파
새로운 아키텍처가 등장하더라도 결국 이 기반 위에서 발전하기 때문이다.
트렌드를 따라가는 것과, 트렌드가 왜 등장했는지 이해하는 것은 전혀 다른 수준의 이야기다.
인공신경망의 원리를 이해하면 앞으로 등장할 새로운 AI 기술도 훨씬 빠르게 받아들일 수 있을 것이다.
