K_程式人

損失函數:

1. 均方誤差函數(Mean Square Error, MSE)

2. 均方根誤差函數(Root Mean Square Error, RMSE)

3. 平均絕對誤差函數(Mean Absolute Error, MAE)

最佳化函數:

1. 梯度下降(Gradient Descent, GD)

2. 批次梯度下降(Batch Gradient Descent, BGD)

3. 隨機梯度下降(Stochastic Gradient Descent, SGD)

4. 自我調整時刻估計(Adaptive Moment Estimation, Adam)

啟動函數:

1. Sigmoid

2. tanh

3. 修正線性單元(Rectified Linear Unit, ReLU):

ReLU的輸出並不是零中心資料, 這可能會導致某些神經元永遠不會被啟動, 並且這些神經元相對應的參數不能被更新。這主要是由模型參數在初始化時使用了全正或全負的值, 或在反向傳播過程中設定的學習速率太快導致的，其解決方法是對模型參數使用更進階的初始化方法如Xavier, 以及設定合理的反向傳播學習速率, 推薦使用自我調整的演算法如Adam。而ReLU的改進版本有Leaky-ReLU, R-ReLU等等。

4. Softmax: 通常應用在全連接層(Fully Connected Layer)