SAM (1) 썸네일형 리스트형 옵티마이저 설명 SAM: Sharpness-Aware Minimization (2020, training loss를 이용한 일반화 성능 올리기) 관련글 옵티마이저 정리 및 논문 리뷰 Optimizer Optimizer_Name (연도) 논문 제목: Sharpness-Aware Minimization for Efficiently Improving Generalization 연도: 2020 링크: https://arxiv.org/abs/2010.01412 관련 개념: Generalization, Geometry of loss landscape, 모집단, 표본 서론 블로그를 포스팅하는 2023년도 기준으로, 현대의 DNN 기반의 인공지능은 수많은 분야(task)에서 기존의 기계학습 방법보다 뛰어난 성능을 보인다. 이 DNN 기반의 인공지능은 파라미터의 개수가 늘어남에 따라 성능이 올라가는 경향을 보이는데(반드시는 아님), 최근의 인공지능은 필요 이상의.. 이전 1 다음
