transformer 썸네일형 리스트형 딥러닝의 작동 원리 — <신경망은 어떻게 학습하고, 왜 거짓말을 하는가> 목차 1. 신경망이 등장하기 전에 무슨 일이 있었나 2. 신경망 노드, 인공신경망이란? 3. 딥러닝은 신경망의 다른 이름이 아니다 4. 역전파 — 신경망은 어떻게 학습하는가 5. 왜 50년 된 아이디어가 2010년대에 폭발했을까 6. Transformer — 신경망의 진화인가, 대체인가 7. 인공지능 환각 — 왜 AI는 자신 있게 틀릴까 8. 지금 이걸 알아야 하는 이유 딥러닝과 인공신경망의 차이부터 역전파, Transformer, 인공지능 환각까지., 왜 이 기술이 등장했고 현대까지 어떻게 진화했는지를 설명해보려 한다. ChatGPT등의 LLM을 써보며 다들 한 번쯤 이런 생각이 들었을 것이다."이게 뇌랑 비슷하게 만든 거라는데, 그럼 나중엔 의식도 생기는 건가?, AI가 인간처럼 생각하고.. 더보기 ChatGPT는 정말 문장을 이해할까? — 다음 단어 예측과 LLM 원리 정리 ChatGPT는 다음 단어를 예측하는 모델이다.그게 LLM의 원리 전부이다.그런데 다음 단어만 예측하는 구조가코드를 짜고,논문을 요약하고,긴 문맥을 따라오고,존재하지 않는 논문을 당당하게 인용한다.... 이것은 인공지능을 개발한 인간조차도 이해하지 못하는 AI 고유의 능력이다.하지만 정말 문장을 이해하는 걸까.아니면 단지 그럴듯하게 흉내 내는 걸까.이 질문에 답하려면 먼저 "다음 단어 예측"이 실제로 무엇을 의미하는지부터 봐야 한다.AI, 머신러닝, 딥러닝, LLM — 헷갈리는 관계 먼저 정리ChatGPT 원리를 이야기하기 전에 용어 정리가 필요하다. 이 네 가지를 혼용해서 쓰는 경우가 많은데, 엄밀히는 포함 관계다.개념 핵심 .. 더보기 왜 Transformer는 RNN을 대체했을까? ChatGPT의 시작, Attention Is All You Need ChatGPT, Claude, Gemini등, 지금 우리가 사용하는 거의 모든 생성형 AI의 공통 조상은 Transformer다.그리고 그 Transformer는 2017년 발표된 단 한 편의 논문, Attention Is All You Need 에서 시작됐다.흥미로운 점은 당시 이 논문이 제안한 아이디어가 상당히 급진적이었다는 것이다. 2017년 자연어처리 분야의 표준은 RNN과 LSTM이었다. 대부분의 연구자들은 더 나은 RNN을 만드는 데 집중하고 있었고, Attention은 어디까지나 성능을 조금 더 끌어올리기 위한 보조 장치로 여겨졌다.그런데 Vaswani 등은 정반대의 주장을 한다. "Attention만으로 충분하다." 제목 그대로 Attention Is All You Need 였다. 당시에는.. 더보기 이전 1 다음
