반응형
글 제목: Descending through a Crowded Valley — Benchmarking Deep Learning Optimizers
연도: 2021
링크: https://arxiv.org/pdf/2007.01547.pdf
모든 optimizers가 나와있는 것은 아니지만, 현존하는 optimizer들에는 어떤 것이 있는지 그리고 각각의 특성과 성능은 어떤지 알 수 있는 글입니다.
17page에 다양한 optimizers가 나와 있으니 참고하세요.
반응형
'인공지능 대학원 자료 정리 > 옵티마이저 (Optimizers)' 카테고리의 다른 글
| 옵티마이저 Lookahead (2019, 안정적인 학습 도모) (0) | 2022.12.12 |
|---|---|
| 옵티마이저 RAdam (2019, Adam의 불안정성 완화) (0) | 2022.12.12 |
| 옵티마이저 SM3 (2019, 메모리 효율적) (0) | 2022.11.23 |
| 옵티마이저 Adafactor (2018, 메모리 효율적) (2) | 2022.11.22 |
| 옵티마이저 AMSGRAD (2018, Adam의 불안정성 완화) (0) | 2022.11.21 |
