인공지능 대학원 자료 정리/논문 정리 (5) 썸네일형 리스트형 [논문 리뷰] QNN (Quantized Neural Network) 이번 논문은 DoReFaNet 이후에 나온 논문입니다. 상당 부분이 DoReFaNet과 심히 유사하여 이것이 과연 새로운 모델이나 기법인지는 저로서는 모르겠습니다... 원문: https://arxiv.org/pdf/1609.07061.pdf Abstract QNN은 가중치와 activation에 1bit만 사용합니다. forward 동안, QNN은 굉장히 적은 양의 메모리를 소모하며, 대부분의 연산들이 bit 단위로 이뤄지기 때문에 연산 속도의 향상을 기대할 수 있습니다. 논문에서는 새롭게 고안된 binary GPU kernel을 이용하면 MNIST dataset에서 7배 향상된 연산 속도를 보여준다고 합니다. 1. Introduction QNN은 딥러닝에서 사용되는 multiply-accumulate .. [논문 리뷰] MCUNet v1 가장 먼저 작성한 논문 리뷰인 만큼 중요한 부분과 그렇지 않은 부분이 섞여있을 수 있습니다. 본 글은 MCUNetv3 글에서 언급된 MCUNet의 초창기 버전에 관한 내용으로써, MCUNet의 근본적인 기술들을 담고 있습니다. 관련 논문: https://arxiv.org/pdf/2007.10319.pdf 정리된 내용: [논문 리뷰] 이진화와 삼진화 (NEURAL NETWORKS WITH FEW MULTIPLICATIONS) 이 글은 여러분들의 이해를 돕기 위한 글쓴이의 개인적인 해석이 들어가 있기 때문에, 논문의 내용에는 없는 부가적인 설명이 대거 들어있음을 알려드립니다. 또한 논문이 나온 시점이 2015인 만큼, 현재의 모델과의 성능적인 차이가 있겠지만, 그 현대 모델들의 기반이 되는 글입니다. 원문: NEURAL NETWORKS WITH FEW MULTIPLICATIONS ABSTRACT 대부분의 딥러닝은 학습 시 많은 시간을 사용합니다. 이 악명 높은 딥러닝은 대부분의 학습 시간을 부동소수점 연산(floating point computation) 그 중에서도 곱셈 연산에 사용합니다. 즉, 실수(부동소수점) 연산을 하는데 시간이 비교적 많이 걸린다는 거죠. 본 논문에서는 대부분의 부동소수점 곱셈 연산을 줄이는 시도를 합.. [논문 리뷰] Binary training의 출발점? (BinaryConnect 방식이란) 이 논문은 딥어닝에서 양자화에 관한 모델들의 기반이 되는 기법들을 소개하며, 잘 알려진 BNN (2016)보다 먼저 나온 논문입니다. 여기서 나오는 **“최신”**이라는 단어는 2015년도 당시의 시점을 기반으로 하며, 따라서 state-of-the-art(최신성능)의 기준 또한 2015 기준으로 되어 있습니다. 논문을 해석하는데 있어, 원활한 이해를 돕기 위해 논문에는 언급되지 않은 정보가 있으니, 참고하여 읽어주세요. 원문: BinaryConnect: Training Deep Neural Networks with binary weights during propagations Abstract 수많은 곱셈 연산자들은 메모리를 많이 차지하고 또 에너지를 많이 소비하기 때문에, 가중치의 양자화 그 중에서도 .. [논문 리뷰] MCU AI 학습 시, 효율적인 메모리 사용 (On-Device Training Under 256KB Memory) 본 글은 다음의 논문을 기반으로 작성되었습니다. https://arxiv.org/pdf/2206.15472.pdf 제가 생각한 중요 개념과 수식이 주된 내용이며, 자세한 내용은 위의 사이트를 참고해주세요. 또한 논문에서 사용된 그림과 표를 블로그에서 사용하기에는 저작권 등의 문제가 있기 때문에, 논문을 옆에 띄워 놓고, 글 중간에 언급되는 그림(Figure)와 표(Table)을 논문에서 참고해주세요. 현 글은 MCUNetv3에 관한 내용으로, 초기 버전 또는 MCUNet의 기반을 알고싶으시면, 아래 글을 참고해주세요. MCUNetv1 Quantization-aware scaling (QAS) 양자화가 gradient update를 왜곡시킨다는 가정 하에, |W| / |G|를 비교하여 양자화하기 전의 값(.. 이전 1 다음
