selfattention 썸네일형 리스트형 ChatGPT는 정말 문장을 이해할까? — 다음 단어 예측과 LLM 원리 정리 ChatGPT는 다음 단어를 예측하는 모델이다.그게 LLM의 원리 전부이다.그런데 다음 단어만 예측하는 구조가코드를 짜고,논문을 요약하고,긴 문맥을 따라오고,존재하지 않는 논문을 당당하게 인용한다.... 이것은 인공지능을 개발한 인간조차도 이해하지 못하는 AI 고유의 능력이다.하지만 정말 문장을 이해하는 걸까.아니면 단지 그럴듯하게 흉내 내는 걸까.이 질문에 답하려면 먼저 "다음 단어 예측"이 실제로 무엇을 의미하는지부터 봐야 한다.AI, 머신러닝, 딥러닝, LLM — 헷갈리는 관계 먼저 정리ChatGPT 원리를 이야기하기 전에 용어 정리가 필요하다. 이 네 가지를 혼용해서 쓰는 경우가 많은데, 엄밀히는 포함 관계다.개념 핵심 .. 더보기 왜 Transformer는 RNN을 대체했을까? ChatGPT의 시작, Attention Is All You Need ChatGPT, Claude, Gemini등, 지금 우리가 사용하는 거의 모든 생성형 AI의 공통 조상은 Transformer다.그리고 그 Transformer는 2017년 발표된 단 한 편의 논문, Attention Is All You Need 에서 시작됐다.흥미로운 점은 당시 이 논문이 제안한 아이디어가 상당히 급진적이었다는 것이다. 2017년 자연어처리 분야의 표준은 RNN과 LSTM이었다. 대부분의 연구자들은 더 나은 RNN을 만드는 데 집중하고 있었고, Attention은 어디까지나 성능을 조금 더 끌어올리기 위한 보조 장치로 여겨졌다.그런데 Vaswani 등은 정반대의 주장을 한다. "Attention만으로 충분하다." 제목 그대로 Attention Is All You Need 였다. 당시에는.. 더보기 이전 1 다음
