옵티마이저 정리 및 논문 리뷰 (2023-10-29 수정)

이 포스트는 이 블로그에 올라온 optimizer를 분류하여 정리해 놓은 포스트이다. 이 포스트에서 사용되는 용어로는 <Optimizer warpper>, <Memory efficient>가 있다. <Optimizer warpper>는 옵티마이저를 도와주는 기법으로, '조금 더 나은 성능을 위해 기존의 optimizer와 함께 사용할 수 있는 기법'이라고 할 수 있다. <Memory efficient>는 정확도 등의 성능을 조금 포기하더라도, 메모리를 덜 사용하는 optimizer를 의미한다.(성능이 반드시 떨어지는 것은 아니다.)

 

 

포스팅의 편안함을 위해 연도 순으로 정렬돼 있지는 않다.

 

Optimizer warpper

Helper	Key words
(2020) SAM	<Loss landscape>

 

 

Optimizer

Optimizer	Key words
(2019) SM3	<Memory efficient>, <Transformer>
(2018) Adafactor	<Memory efficient>, <Transformer>
(2018) AMSGRAD	<Adam convergence issue>
(2019) RAdam	<Warmup>
(2019) Lookahead	<Lookahead>