모아의 기웃기웃 · AI 이해하기 · 3편

층을 넣으면, 직선으로 못 나누던 문제도 풀릴까요?

네 점으로 은닉층과 활성화 함수를 이해하고, 실제 기울기로 학습한 결과를 확인해 보세요.

직선을 움직여 네 점을 나눠 보세요.

○ 정답 0▲ 정답 1

배경: 모델의 예측 p · 짙은 초록 0 → 연한 주황 1
흰 선: p=0.5 경계 · 점의 모양: 정답
p가 0.5 이상이면 1로 분류합니다.

z = w₁x₁ + w₂x₂ + b
p = sigmoid(z)

기본값은 네 점 중 세 점을 맞힙니다. 직선 하나로 네 점을 모두 맞힐 수는 없습니다.

네 학습 입력에서 확인한 결과
입력 (x₁,x₂)정답예측 p분류

왜 층을 넣을까요?

원래 입력을 중간 특징으로 다시 표현하고, 다음 층에서 조합합니다. 이 XOR은 은닉층 한 개로 충분합니다. 깊이가 많아야만 풀리는 문제는 아닙니다.

활성화가 하는 일

곱셈·덧셈만 쌓으면 한 번의 선형 계산으로 합쳐집니다. 중간에 ReLU나 tanh 같은 비선형 함수를 넣어야 직선 하나를 넘어서는 경계를 표현할 수 있습니다.

계산 예제와 학습 결과

2번 탭은 가중치를 손으로 정한 2→2→1 ReLU 예제입니다. 3번 탭은 2→4→1 tanh 모델을 역전파와 경사하강법으로 학습합니다. 두 예제의 구조·수치는 구분해서 읽어주세요.

숫자가 뜻하는 범위

손실과 일치 개수는 네 학습 점에서 측정했습니다. 중간 좌표에는 정답을 주지 않았으며, 새로운 데이터의 성능도 측정하지 않았습니다.

학습 설정과 수식 더 보기

2→4→1: hⱼ=tanh(wⱼ₁x₁+wⱼ₂x₂+bⱼ), z=Σvⱼhⱼ+c, p=sigmoid(z). 가중치·편향은 8+4+4+1=17개입니다. 활성화 없음은 tanh 자리에 항등함수를 씁니다.

평균 BCE=평균[softplus(z)−yz]. softplus(z)=max(z,0)+ln(1+exp(−|z|))로 안정적으로 계산합니다. 역전파로 구한 평균 기울기를 사용해 θ←θ−0.30∇L로 갱신합니다.

고정 초기 시드 42 · LCG(1664525,1013904223,2³²) · 가중치 균등분포 [−1.2,1.2) · 편향 0 · 2,000회 · 매번 네 점 전체 사용. 같은 초기 매개변수라도 활성화가 다르면 시작 예측과 손실은 다릅니다. 알고리즘 간 우열 비교가 아닙니다.

0.5 이상을 1로 분류하며 화면 숫자는 반올림됩니다. 활성화 없는 모델의 p≈0.5 근처에서는 부동소수점 오차로 일치 개수가 달라질 수 있습니다. 판단은 손실과 경계 형태를 함께 보세요.

두 예제의 목적과 구조

구분계산 원리 확인용실제 학습 관찰용
구조2→2→1 · 은닉층 1개2→4→1 · 은닉층 1개
은닉 함수ReLUtanh
가중치·편향9개 · 손으로 지정17개 · 경사하강법으로 조절
살펴볼 것입력 좌표가 은닉 좌표로 바뀌는 과정가중치 갱신에 따른 손실과 예측

입력 변화의 원리를 보여주는 예제와 학습 경로를 관찰하는 예제입니다. 구조·활성화 함수의 성능 순위를 비교하지 않습니다.

그림으로 다시 보기

56초 영상으로 복습하기

56초 · 한국어 자막 애니메이션 · 음성 없음

개념 출처

Google · 신경망 입문Google · 뉴런과 은닉층Google · 활성화 함수Google · 역전파PyTorch · BCEWithLogitsLoss