[기초 세션 복습] 딥러닝 학습의 원리

2026년 3월 23일 synapse 기초 세션 복습 과제입니다

 

 

딥러닝은 어떻게 학습하는가?

초기 학습 → 예측 → 결과 및 오차 확인 → 오차를 줄이는 방향으로 재학

 

---

기울기

- 미분: 변화율 계산

- 편미분: 특정 변수에 대한 변화량

- gradient: 손실이 가장 증가하는 방향

---

손실함수

예측과 정답의 차이를 하나의 숫자로 제시 → 이후 방향성 제시

이때 기울기를 사용하여 손실을 가장 빨리 줄이는 방법을 찾아냄

 

- MSE(평균제곱오차) → 회귀 문제에 적합

- 교차엔트로피 오차 → 분류 문제에 적

---

학습 방법

- 경사하강법: 기울기 반대로 이동하여 손실 감소

- 역전파: 기울기를 뒤에서 앞으로 전달

순전파 → 손실 계산 → 출력층 오차 → 오차 전달 → 편미분 계산 → 경사하강법 갱신

---

학습 파라미터

- 학습률: 한 번에 얼마나 이동할지 결정하는 값

---

학습 방식 종류

- Batch GD: 전체 데이터 사용

- SGD: 데이터 1개씩 사용

- Mini-batch: 일부 묶어서 사용

배치 분할 → 순전파 → 손실 계산 → 역전파 → (갱신 → 다음 배치)

---

 경사하강법의 한계

- Local Minimum: 전역 최솟값이 아님

- Flat Region: 기울기 거의 0

- 경사 방향 오류: 진동 또는 비효율적 이동

---

최적화 알고리즘

- Momentum:이전 방향 반영 (누적)

- AdaGrad: 학습률 점점 감소

- RMSProp: 학습률 안정화

- Adam: Momentum + RMSProp ( 방향 안정 + 크기 적응 조절)

 

+ GD 경사하강법

---

데이터 분할

- train set: 모델을 실제로 학습시키는 데이터

- validation set: 하이퍼파라미터 튜닝 + 모델 선택

- test set: 최종 성능 평가 → 학습 데이터에 사용하면 안 됨

---

과적합 방지

- Dropout: 일부 뉴런 제거 → 과적합 방지

- 배치정규화(BatchNorm): 입력 분포 정규화 → 안정화

- hyperparameter: 사람이 직접 학습값 설정

---

평가 지표

- Accuracy: 데이터 불균형에 취약

- Precision / Recall: 정밀도 / 재현율

- F1-score: Precision + Recall 균형

- Confusion Matrix: 예측 결과 표

- ROC / PR AUC: 모델 성능 곡선 평가