llm 썸네일형 리스트형 왜 Transformer는 RNN을 대체했을까? ChatGPT의 시작, Attention Is All You Need ChatGPT, Claude, Gemini등, 지금 우리가 사용하는 거의 모든 생성형 AI의 공통 조상은 Transformer다.그리고 그 Transformer는 2017년 발표된 단 한 편의 논문, Attention Is All You Need 에서 시작됐다.흥미로운 점은 당시 이 논문이 제안한 아이디어가 상당히 급진적이었다는 것이다. 2017년 자연어처리 분야의 표준은 RNN과 LSTM이었다. 대부분의 연구자들은 더 나은 RNN을 만드는 데 집중하고 있었고, Attention은 어디까지나 성능을 조금 더 끌어올리기 위한 보조 장치로 여겨졌다.그런데 Vaswani 등은 정반대의 주장을 한다. "Attention만으로 충분하다." 제목 그대로 Attention Is All You Need 였다. 당시에는.. 더보기 이전 1 다음
