SM3 optimizer (1) 썸네일형 리스트형 옵티마이저 SM3 (2019, 메모리 효율적) 관련글 옵티마이저 정리 및 논문 리뷰 Optimizer SM3 (2019) 논문 제목: Memory-Efficient Adaptive Optimization 연도: 2019 링크: https://arxiv.org/pdf/1901.11150.pdf https://arxiv.org/pdf/1901.11150v1.pdf 관련 개념: 1. 차원 2. Adafactor 서론 기존의 Adam 계열의 optimizers는 second momentum 항 때문에 memory overhead가 크다고 합니다. 저자는 효율적이고, 쉽게 적용이 가능하면서 memory overhead가 적은 새로운 adaptive optimization을 소개합니다. 저자가 고안한 방법은 adaptive의 성질을 만족한다고 합니다. 또한 수.. 이전 1 다음
