반응형
이 포스트는 이 블로그에 올라온 optimizer를 분류하여 정리해 놓은 포스트이다. 이 포스트에서 사용되는 용어로는 <Optimizer warpper>, <Memory efficient>가 있다. <Optimizer warpper>는 옵티마이저를 도와주는 기법으로, '조금 더 나은 성능을 위해 기존의 optimizer와 함께 사용할 수 있는 기법'이라고 할 수 있다. <Memory efficient>는 정확도 등의 성능을 조금 포기하더라도, 메모리를 덜 사용하는 optimizer를 의미한다.(성능이 반드시 떨어지는 것은 아니다.)
포스팅의 편안함을 위해 연도 순으로 정렬돼 있지는 않다.
Optimizer warpper
| Helper | Key words |
| (2020) SAM | <Loss landscape> |
Optimizer
| Optimizer | Key words |
| (2019) SM3 | <Memory efficient>, <Transformer> |
| (2018) Adafactor | <Memory efficient>, <Transformer> |
| (2018) AMSGRAD | <Adam convergence issue> |
| (2019) RAdam | <Warmup> |
| (2019) Lookahead | <Lookahead> |
반응형
'인공지능 대학원 자료 정리 > 옵티마이저 (Optimizers)' 카테고리의 다른 글
| 옵티마이저 설명 SAM: Sharpness-Aware Minimization (2020, training loss를 이용한 일반화 성능 올리기) (2) | 2023.10.29 |
|---|---|
| 옵티마이저 Lookahead (2019, 안정적인 학습 도모) (0) | 2022.12.12 |
| 옵티마이저 RAdam (2019, Adam의 불안정성 완화) (0) | 2022.12.12 |
| 옵티마이저 종류들 (0) | 2022.11.23 |
| 옵티마이저 SM3 (2019, 메모리 효율적) (0) | 2022.11.23 |
