Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 코딩 테스트
- 논문리뷰
- 알고리즘
- 클래스 불균형
- LeNet
- VGGNet
- dl
- 백준
- Deep Learning
- Coding Test
- ResNet
- 자연어처리
- GPT
- BFS
- 딥러닝
- Attention is all you need
- Transformer
- vit
- AlexNet
- 프로그래머스
- Focal loss
- algorithm
- DFS
- greedy
- Vision Transformer
- retinaNet
- greedy algorithm
- GoogleNet
- 그리디
- 탐욕법
Archives
- Today
- Total
목록자연어처리 (1)
자율주행 미래를 위한 대학원생
[논문 리뷰] Attention Is All You Need
첫 포스팅으로 논문리뷰를 해보려고 한다. 리뷰할 논문은 AI를 공부하는 사람들은 대부분 들어봤을 법한 Transformer 논문인 "Attention Is All You Need"이다. Transformer는 자연어처리(NLP) 분야의 핵심이 되었을 정도로 중요한 논문으로 꼽히고 있다. 인공지능을 공부하는 사람이라면 누구든 시작으로 한번쯤은 읽어봤을 것이라 생각한다. 논문을 하나씩 살펴보도록하자. 1. Abstract 우수한 Sequence model은 복잡한 RNN 혹은 CNN을 기반으로 한다. 뛰어난 Model은 encoder-decoder 연결에 attention mechanism을 사용한다. Transformer는 RNN과 CNN을 사용하지 않고, attention mechanism을 사용한다. ..
Paper Riview
2023. 12. 10. 21:27