모아의 기웃기웃 · AI 이해하기 · 3편
층을 넣으면, 직선으로 못 나누던 문제도 풀릴까요?
네 점으로 은닉층과 활성화 함수를 이해하고, 실제 기울기로 학습한 결과를 확인해 보세요.
직선을 움직여 네 점을 나눠 보세요.
입력 좌표 · x₁, x₂
원래 네 점 · A·B·C·D의 위치를 따라가 보세요.
은닉 좌표 · h₁, h₂
○ 정답 0 · ▲ 정답 1 · 흰 십자는 선택한 입력의 위치입니다. 이동 중 위치는 변환 전후를 이어 보여주는 연출이며, 100% 위치가 실제 은닉값입니다.
| 입력 점 | 최종 은닉 (h₁,h₂) | 정답 |
|---|
○ 정답 0▲ 정답 1
배경: 모델의 예측 p · 짙은 초록 0 → 연한 주황 1
흰 선: p=0.5 경계 · 점의 모양: 정답
p가 0.5 이상이면 1로 분류합니다.
z = w₁x₁ + w₂x₂ + b
p = sigmoid(z)
기본값은 네 점 중 세 점을 맞힙니다. 직선 하나로 네 점을 모두 맞힐 수는 없습니다.
입력을 직접 조절하면 두 지도에서 선택한 위치도 바뀝니다.
가중치를 손으로 정한 2→2→1 예제입니다. 이동 연출은 학습 횟수를 뜻하지 않습니다. 중간 입력 위치에는 정답을 정하지 않았습니다.
2→4→1 · 매개변수 17개 · 초기 시드 42
학습률 0.30 · 네 점 전체로 경사하강법
막대는 시간 대신 가중치 갱신 횟수입니다.
역전파로 실제 계산한 0~2,000회 경로를 재생합니다. 과거 시점으로 돌아가도 같은 가중치와 손실을 확인할 수 있습니다.
| 입력 (x₁,x₂) | 정답 | 예측 p | 분류 |
|---|
왜 층을 넣을까요?
원래 입력을 중간 특징으로 다시 표현하고, 다음 층에서 조합합니다. 이 XOR은 은닉층 한 개로 충분합니다. 깊이가 많아야만 풀리는 문제는 아닙니다.
활성화가 하는 일
곱셈·덧셈만 쌓으면 한 번의 선형 계산으로 합쳐집니다. 중간에 ReLU나 tanh 같은 비선형 함수를 넣어야 직선 하나를 넘어서는 경계를 표현할 수 있습니다.
계산 예제와 학습 결과
2번 탭은 가중치를 손으로 정한 2→2→1 ReLU 예제입니다. 3번 탭은 2→4→1 tanh 모델을 역전파와 경사하강법으로 학습합니다. 두 예제의 구조·수치는 구분해서 읽어주세요.
숫자가 뜻하는 범위
손실과 일치 개수는 네 학습 점에서 측정했습니다. 중간 좌표에는 정답을 주지 않았으며, 새로운 데이터의 성능도 측정하지 않았습니다.
학습 설정과 수식 더 보기
2→4→1: hⱼ=tanh(wⱼ₁x₁+wⱼ₂x₂+bⱼ), z=Σvⱼhⱼ+c, p=sigmoid(z). 가중치·편향은 8+4+4+1=17개입니다. 활성화 없음은 tanh 자리에 항등함수를 씁니다.
평균 BCE=평균[softplus(z)−yz]. softplus(z)=max(z,0)+ln(1+exp(−|z|))로 안정적으로 계산합니다. 역전파로 구한 평균 기울기를 사용해 θ←θ−0.30∇L로 갱신합니다.
고정 초기 시드 42 · LCG(1664525,1013904223,2³²) · 가중치 균등분포 [−1.2,1.2) · 편향 0 · 2,000회 · 매번 네 점 전체 사용. 같은 초기 매개변수라도 활성화가 다르면 시작 예측과 손실은 다릅니다. 알고리즘 간 우열 비교가 아닙니다.
0.5 이상을 1로 분류하며 화면 숫자는 반올림됩니다. 활성화 없는 모델의 p≈0.5 근처에서는 부동소수점 오차로 일치 개수가 달라질 수 있습니다. 판단은 손실과 경계 형태를 함께 보세요.
두 예제의 목적과 구조
| 구분 | 계산 원리 확인용 | 실제 학습 관찰용 |
|---|---|---|
| 구조 | 2→2→1 · 은닉층 1개 | 2→4→1 · 은닉층 1개 |
| 은닉 함수 | ReLU | tanh |
| 가중치·편향 | 9개 · 손으로 지정 | 17개 · 경사하강법으로 조절 |
| 살펴볼 것 | 입력 좌표가 은닉 좌표로 바뀌는 과정 | 가중치 갱신에 따른 손실과 예측 |
입력 변화의 원리를 보여주는 예제와 학습 경로를 관찰하는 예제입니다. 구조·활성화 함수의 성능 순위를 비교하지 않습니다.
그림으로 다시 보기






56초 영상으로 복습하기
56초 · 한국어 자막 애니메이션 · 음성 없음