728x90
반응형
[딥러닝] 1분 만에 이해되는 행렬곱 역전파 설명
·
DL
바로 설명 시작하겠습니다! 이러한 행렬곱이 있다고 합시다. N=2, D=3, M=2라면 이렇게 풀어쓸 수 있습니다.  y11은 위와 같이 연산할 수 있겠죠?  y12 또한 동일한 방법으로 구할 수 있습니다.자, 이제 x11에 관해 y11과 y12를 미분해 보겠습니다. x11에 대한 편미분은 어렵지 않게 구할 수 있습니다. 저희가 구하고 싶은 것은 바로 전체 Loss를 x11로 편미분한 값입니다.이는 x11의 변화로 인해 모든 y값이 변하고 -> 그로 인해 계산된 Loss에 대한 변화율이라 할 수 있습니다. 그렇다면 chain rule을 활용하여 위와 같은 수식을 완성할 수 있습니다.제가 네모 친 항들은 이미 위에서 구해놓은 값이지요? 식을 정리해 봅시다. 식이 깔끔하게 정리가 되었습니다. 😲자, 그러면..
728x90
반응형