12_Backpropagation HW#3

2019-10-02 이민예

1.

3.2 - L-layer Neural Network

The initialization for a deeper L-layer neural network is more complicated because there are many more weight matrices and bias vectors. When completing the initialize_parameters_deep, you should make sure that your dimensions match between each layer. Recall that n^{[l]} is the number of units in layer $l$. Thus for example if the size of our input X is (12288, 209) (with m=209 examples) then:

Remember that when we compute W X + b in python, it carries out broadcasting. For example, if:

Then WX + b will be:

2. Backpropagation 전개

2-1. 오차함수 J를 에 대해 미분한 식을 전개하시오.

다

2-2. 위 식을 통해 규칙을 발견하고, 일반화하시오.

다음은 계산 그래프이다. 는 오차함수에 대해 4만큼에 영향이 있다. 즉 최종 출력값이 증가하길 원할때, 4만큼의 가중치를 가지고 있으므로, 가중치가 1만큼 증가할 떄 오차함수의 최종 출력값은 4만큼 증가한다. 가중치가 1만큼 감소할 때, 오차함수의 최종 출력값은 4만큼 감소한다. 최종 출력값을 감소시키기 위해서, 가중치에서 학습속도 * 영향도를 빼준다. 많은 영향도를 가질수록, 많이 빼준다.