Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Attention is all you need
- 그리디
- 자연어처리
- Transformer
- 알고리즘
- Vision Transformer
- vit
- 프로그래머스
- Deep Learning
- greedy algorithm
- BFS
- GPT
- ResNet
- GoogleNet
- 탐욕법
- Coding Test
- dl
- AlexNet
- algorithm
- 클래스 불균형
- Focal loss
- retinaNet
- LeNet
- DFS
- 논문리뷰
- 딥러닝
- 백준
- 코딩 테스트
- greedy
- VGGNet
Archives
- Today
- Total
목록Attention is all you need (1)
자율주행 미래를 위한 대학원생
[논문 리뷰] Attention Is All You Need
첫 포스팅으로 논문리뷰를 해보려고 한다. 리뷰할 논문은 AI를 공부하는 사람들은 대부분 들어봤을 법한 Transformer 논문인 "Attention Is All You Need"이다. Transformer는 자연어처리(NLP) 분야의 핵심이 되었을 정도로 중요한 논문으로 꼽히고 있다. 인공지능을 공부하는 사람이라면 누구든 시작으로 한번쯤은 읽어봤을 것이라 생각한다. 논문을 하나씩 살펴보도록하자. 1. Abstract 우수한 Sequence model은 복잡한 RNN 혹은 CNN을 기반으로 한다. 뛰어난 Model은 encoder-decoder 연결에 attention mechanism을 사용한다. Transformer는 RNN과 CNN을 사용하지 않고, attention mechanism을 사용한다. ..
Paper Riview
2023. 12. 10. 21:27