오늘은 [MIT 6.7960 Deep Learning, Fall 2024] Lec 01. Introduction to Deep Learning에 대한 강의 내용을 정리해보도록 하겠습니다.GoalMIT 6.7960 강의는 대학원 수준 딥러닝 과정의 첫 번째 강의로, 입문 수준이 아닌 고급 과정입니다. 따라서 기초적인 Chapter 1 : What is deep learningChapter 2 : Background Knowledge ReviewConclusion Chapter 1 : What is deep learning딥러닝이란 무엇인가? Sara Beery 교수님은 딥러닝은 신경망과 미분 프로그래밍 2가지 핵심 축으로 구성된다고 이야기하며 그 정의는 다음과 같습니다.① 신경망 (Neural Networ..

오늘은 Approximation Theory (근사치 이론)를 공부하다 알게된 Lipschitz Continuity 에 대해서 포스팅을 하겠습니다.이론적인 내용과 딥러닝, 임베디드 관점에서 적어보려고 합니다. 1. Lipschitz Continuity(립시츠 연속성)이란?일반적인 연속(Continuous) 함수가 "그래프가 끊어지지 않고 이어져 있다"는 것을 의미한다면, '립시츠 연속'은 여기서 한 걸음 더 나아가 "이어져 있을 뿐만 아니라, 변하는 속도(기울기)에 엄격한 제한이 있다"는 것을 의미합니다.함수 $g: \mathbb{R} \to \mathbb{R}$가 $L$-립시츠(Lipschitz) 함수라는 것은, 모든 입력 $x$와 그 변화량 $\Delta x$에 대해 다음 부등식을 만족한다는 뜻입니다..