[기초 세션 복습] 딥러닝 기초: 인공신경망과 퍼셉트론

2026년 3월 23일 synapse 기초 세션 복습 과제입니다

 

 

Rule-based AI → 머신러닝

사람이 규칙을 명시적으로 작성 → 데이터로부터 패턴을 자동 학습

---

대표적인 초기 모델 3가지

선형회귀

→ 연속값 예측 / 비선형 데이터에 취약

-로지스틱 회귀

→ 이진 분류 / 복잡한 데이터에 취약

-퍼셉트론

→ 이진 분류 / 선형 분리만 가능

---

퍼셉트론

구조

입력 → 선형 결합(가중합) → 활성화 함수 → 출력

 

특징

선형 결정경계: 데이터를 직선 또는 평면으로 나누는 기준선

 

→ 직선 또는 평면으로 나눔 / XOR 문제를 해결 불가

---

다층 퍼셉트론(MLP)

퍼셉트론을 여러 층으로 쌓은 구조

입력층 - 은닉층 - 출력층

 

특징

복잡한 결정경계 생성 / XOR 문제 해결 가능

 

→ 은닉층의 역할

입력 데이터를 변환 -> 특징 추출 -> 새로운 표현 공간 생성

---

핵심 수식

 

• z: 입력값을 가중치로 합친 값 (선형 결합)
• a: 활성화 함수 적용 결과 (최종 출력)

---

비선형 활성화 함수

1 Sigmoid 함수

2 ReLU 함수

3 tanh 함수

4 Softmax 함수

---

1 Sigmoid 함수

 

s자 형태의 비선형 함수 (출력 범위 0~1)

 

- 결과를 확률처럼 해석 가능 → 이진 분류 문제에 적합

- 입력이 크거나 작은 경우 기울기 소실 발생

---

2 ReLU 함수

비선형 활성화 함수

 

f(x) = max(0, x)

x < 0 → 0 출력

x >= 0 → x 그대로 출력

 

- 기울기 소실 문제 완화 / 연산 속도 빠름 → 딥러닝에서 가장 널리 사용됨

- 음수 구간은 값이 0으로 학습 안됨

이 상태가 지속되어 뉴런이 업데이트가 안된다면  →  dyibg ReLU 문제 발생

---

3 tanh 함수

s자 형태의 비선형 함수 (출력 범위: -1 ~ 1)

 

특징

중심이 0으로 양수와 음수 모두 표현 가능 → sigmoid보다 학습 안정성 높음

 

- gradient(기울기) 방향 왜곡 감소 → 은닉층에서 sigmoid 함수보다 안정적

- 입력이 크거나 작으면 기울기 소실 발생 → 깊은 네트워크에서는 한계 존재

---

4 Softmax 함수

여러 값을 확률로 변환하는 함수 (출력 범위: 0~1, 전체 합 = 1)

 

특징

각 클래스에 대한 확률 값 출력 → 출력값들의 합은 항상 1

 

→ 여러 클래스 중 하나를 선택하기 위한 출력값을 확률로 변환

---

그래서 이러한 비선형 활성화 함수가 왜 필요한가?

→  비선형성이 있어야

1 복잡한 패턴 학습 가능

2 딥러닝 성능 향상

이 가능하다