RICCILAB
> projects/study-gpt
> CATEGORY

study-gpt

A from-scratch GPT implementation and learning series.

COUNT: 03

> PROJECTS

> study-gpt[01]

Stage 01 — 역전파 전에 필요한 것: 계산을 기억하는 스칼라

순수 Python으로 Value 객체를 만들고, 덧셈과 곱셈이 순전파 값과 계산 그래프를 동시에 만드는 과정을 직접 실행해 확인한다.

_Python
> study-gpt[02]

Stage 02 — 연쇄 법칙을 코드로: 역방향 자동미분

국소 미분값을 역순으로 합성하고, 공유 노드 누적·중앙 차분·실패 원자성으로 reverse-mode 자동미분을 검증한다.

_Python
> study-gpt[03]

Stage 03 — 미분 가능한 연산의 경계: exp, log, ReLU, 거듭제곱

거듭제곱,exp,log,ReLU의 국소 미분을 추가하고, 정의역,비미분점,유한성 검사를 통제 실험으로 검증한다.

_Python