AI机器学习的 BP 黃金三公式

2020-12-15 10:04:06 2440 高焕堂人工智能

0 1. *記住第一個公式：delta = z (1 - z) * error** 這項名稱是我提出的，幷不見得人人都贊同，但是它的確可以非常有效地簡化AI的教學與學生們的學習途徑。雖然看起來這些式子，如：delta = z * (1-z) * error，看來很複雜。其實，只要您不掉入數學推導的細節，它是非常簡單可愛的。其中，error就是預測值與實際值(標簽)的落差值。所以： *delta = z (1 - z) * error** 其中的z (1-z)就是Sigmoid激活函數的導數。將它記住了之後，做些變化。例如，當激活函數改爲ReLU時，其導數爲1或0，此時，這個黃金公式就變成爲： delta = loss (或 0) 所以先記住： delta = z (1 - z) * error。就能隨著兩種變因而舉一反三了。其變因有二：1)損失函數(Loss Function)；2)激活函數(Activation Function)。例如，最常見的損失函數是MSE(即均方誤差)或SSE(誤差平方和)；而最常見的激活函數是Sigmoid函數。 2. 逐漸孰悉它的變化：例如，改變一下，把損失函數改爲交叉熵時，這標準公式會變成什麽? 再如，改變一下，把激活函數改爲ReLU時，這標準公式會變成什麽? 然後，再改變一下，把激活函數改爲Softmax時，這標準公式會變成什麽? 如此，就很輕易地掌握NN的BP算法的任督之脉了。如此，一切變化盡在其中，就不必去糾纏于對損失函數的偏微分推倒細節了，也就是不必去糾纏于梯度向量的推算細節了，它們都在這簡單公式裡了。 3. 就像牛頓力學的公式：F = ma 這項 delta = z * (1 - z) * error 公式，就像幾何學裏的圓形面積公式：Area = PI * r^2 一樣，人人朗朗上口，也像牛頓力學的F = ma公式，或像愛因斯坦的 E = MC^2 質能變換公式一樣，記住它，活用它，然後才漸漸去理解它是如何導出的，甚至許多人一輩子也都不去煩惱它們是如何推導出來的。 4. 三個基本公式許多人都可以直接記住它、活用它，總共三個簡單公式：第1公式：delta = z * (1 - z) * error 第2公式：error_prev = W * delta 第3公式：dw = X_prev * delta 這三個公式如同牛頓力學三大定律公式。基于這項基礎知識，就能非常迅速地算出NN, CNN, RNN等神經網絡模型的AI機器學習流程了。 5. 範例一：解析Python代碼例如，在我所撰寫的《Python 與TensorFlow結合》一書裡，有一段代碼： for i in range(500): hy = x.dot(w1) hz = relu(hy) oy = hz.dot(w2) oz = sigmoid(oy) # Compute and print loss L = np.square(t - oz).sum() print(i, L) # Backprop to compute gradients of w1 and w2 with respect to loss error = t - oz delta = oz * (1-oz) * error dw2 = hz.T.dot(delta) error_h = delta.dot(w2.T) delta_h = error_h.copy() delta_h[h < 0] = 0 dw1 = x.T.dot(delta_h) # Update weights w1 += learning_rate * dw1 w2 += learning_rate * dw2 這是兩層的NN模型，損失函數L()是SSE，隱藏層的激活函數是ReLU，輸出層則是Sigmoid激活函數。所以， delta = oz * (1-oz) * error 和 delta_h = loss_h.copy() delta_h[h < 0] = 0 就是第一公式的呈現。至於， error_h = delta.dot(w2.T) 是第二公式的呈現。再來， dw2 = hz.T.dot(delta) dw1 = x.T.dot(delta_h) 則是第三公式的呈現。 w1 -= learning_rate * dw1 w2 -= learning_rate * dw2 幾乎所有複雜NN的BP算法，都是這三個簡單公式的華麗呈現而已。拿這三個公式去對應和詮釋別人的算法或程序代碼，就不必去追踪別人的程序邏輯，而一目了然。而且對或錯，一清二楚。 6. 範例二：解析Torch代碼再如，引用：http://www.sohu.com/a/291959747_197042網頁裡提供的一份代碼： ## sigmoid activation function using pytorch def sigmoid_activation(z): return 1 / (1 + torch.exp(-z)) ## activation of hidden layer z1 = torch.mm(x, w1) + b1 a1 = sigmoid_activation(z1) ## activation (output) of final layer z2 = torch.mm(a1, w2) + b2 output = sigmoid_activation(z2) loss = y - output ## function to calculate the derivative of activation def sigmoid_delta(x): return x * (1 - x) ## compute derivative of error terms delta_output = sigmoid_delta(output) delta_hidden = sigmoid_delta(a1) ## backpass the changes to previous layers d_outp = delta_output * loss loss_h = torch.mm(d_outp, w2.t()) d_hidn = delta_hidden * loss_h learning_rate = 0.1 w2 += torch.mm(a1.t(), d_outp) * learning_rate w1 += torch.mm(x.t(), d_hidn) * learning_rate b2 += d_outp.sum() * learning_rate b1 += d_hidn.sum() * learning_rate 其中的指令： d_outp = delta_output * loss d_hidn = delta_hidden * loss_h 就是第一公式的呈現。而， loss_h = torch.mm(d_outp, w2.t()) 就是第二公式的呈現。再來， w2 += torch.mm(a1.t(), d_outp) * learning_rate w1 += torch.mm(x.t(), d_hidn) * learning_rat 就是第三公式的呈現。于是，三個基本公式就清晰地浮現出來了，也由于很孰悉這三個公式了，就很容易理解這些程序碼的涵意，也能輕易判斷程序是否正確。 7. 範例三：解析NN模型圖例如，有一個CNN模型的架構圖：基于已經熟悉的BP三公式，就清晰知道這些數字之間的相關性了。例如，此圖裡的藍色神經元屬於輸入層，綠色神經元屬於卷積層。目前已經知道了： delta_y0 = -0.1 delta_y1 = 0.2 運用上述的，就能反向推演出來delta_x0、delta_x1和delta_x2了。很容易展開如下的計算過程：這就是所謂的反向傳播(BP)：讓敏感度(即 delta值)，就如同海水的漣漪效應一般，從輸出層逆向傳播到各層，來更新權重值(含B值)。 8. 結語學習AI的BP算法有兩個途徑：途徑-1. 像牛頓一樣的科學家，會去用數學證明 F = ma。如果您是AI算法和模型的科學家，才需要懂微積分去證明AI算法裡的常用簡單公式。途徑-2. 像一般的學生們的學習物理時，常先記住F=ma 或 E = MC^2的簡單公式，然後一邊應用，一邊領會，最後才去研讀牛頓F=ma的推導過程。 ~ End ~ 1
2020-12-15 10:04:06　　评论淘帖0 举报相关推荐 • 高焕堂老师AI概论：活用<BP算法的黃金三公式> 1974 • 机器学习笔记之BP推导 1334 • AI物流机器人结合实际应用解决“最后三公里”配送难题 3152 • AI/机器学习/深度学习三者的区别是什么？ 2852 • 【AI学习】AI概论：（Part-C）AI(机器)是如何学习呢? 2042 • 人工智能（AI）学习：如何讲解BP（反向传播）流程 0 • AI、机器学习和深度学习的区别及应用 572 • RISC-V如何支持不同的AI和机器学习框架和库？ 2768 • 嵌入式机器学习和AI前沿资讯简报 8660 • 【AI学习】AI概论：（Part-B）AI头脑+机器人行为 2616 1 个讨论