姓名 郭宇

學(xué)號(hào) 16130130299

轉(zhuǎn)載自【機(jī)器學(xué)習(xí)：人工神經(jīng)網(wǎng)絡(luò)ANN】

https://m.toutiao.com/group/6490319757177258510/?iid=17602826099&app=news_article&tt_from=android_share&utm_medium=toutiao_android&utm_campaign=client_share

【嵌牛導(dǎo)讀】：機(jī)器學(xué)習(xí)

【嵌牛鼻子】 感知機(jī)模型 ? 激活函數(shù)

【嵌牛提問】感知機(jī)模型是什么 ?激活函數(shù)又是什么？

【嵌牛正文】：會(huì)技術(shù)的葛大爺2017-11-20 10:35:27

神經(jīng)網(wǎng)絡(luò)是從生物領(lǐng)域自然的鬼斧神工中學(xué)習(xí)智慧的一種應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)（ANN）的發(fā)展經(jīng)歷的了幾次高潮低谷，如今，隨著數(shù)據(jù)爆發(fā)、硬件計(jì)算能力暴增、深度學(xué)習(xí)算法的優(yōu)化，我們迎來了又一次的ANN雄起時(shí)代，以深度學(xué)習(xí)為首的人工神經(jīng)網(wǎng)絡(luò)，又一次走入人們的視野。

感知機(jī)模型perception

不再處理離散情況，而是連續(xù)的數(shù)值，學(xué)習(xí)時(shí)權(quán)值在變化，從而記憶存儲(chǔ)學(xué)到的知識(shí)

神經(jīng)元輸入：類似于線性回歸z =w1x1+w2x2 +? +wnxn= wT?x（linear threshold unit (LTU)）

神經(jīng)元輸出：激活函數(shù)，類似于二值分類，模擬了生物學(xué)中神經(jīng)元只有激發(fā)和抑制兩種狀態(tài)。

增加篇值，輸出層哪個(gè)節(jié)點(diǎn)權(quán)重大，輸出哪一個(gè)。

采用Hebb準(zhǔn)則，下一個(gè)權(quán)重調(diào)整方法參考當(dāng)前權(quán)重和訓(xùn)練效果

#一個(gè)感知機(jī)的例子

import numpy as np

from sklearn.datasets import load_iris

from sklearn.linear_model import Perceptron

iris = load_iris()

X = iris.data[:, (2, 3)] # petal length, petal width

y = (iris.target == 0).astype(np.int) # Iris Setosa?

per_clf = Perceptron(random_state=42)

per_clf.fit(X, y)

y_pred = per_clf.predict([[2, 0.5]]

之后有人提出，perception無法處理異或問題，但是，使用多層感知機(jī)（MLP）可以處理這個(gè)問題

def heaviside(z):

return (z >= 0).astype(z.dtype)

def sigmoid(z):

return 1/(1+np.exp(-z))

#做了多層activation，手工配置權(quán)重

def mlp_xor(x1, x2, activation=heaviside):

return activation(-activation(x1 + x2 - 1.5) + activation(x1 + x2 - 0.5) - 0.5)

如圖所示，兩層MLP，包含輸入層，隱層，輸出層。所謂的深度神經(jīng)網(wǎng)絡(luò)，就是隱層數(shù)量多一些。

激活函數(shù)

以下是幾個(gè)激活函數(shù)的例子，其微分如右圖所示

step是最早提出的一種激活函數(shù)，但是它在除0外所有點(diǎn)的微分都是0，沒有辦法計(jì)算梯度

logit和雙曲正切函數(shù)tanh梯度消失，數(shù)據(jù)量很大時(shí)，梯度無限趨近于0，

relu在層次很深時(shí)梯度也不為0，無限傳導(dǎo)下去。

如何自動(dòng)化學(xué)習(xí)計(jì)算權(quán)重——backpropagation

首先正向做一個(gè)計(jì)算，根據(jù)當(dāng)前輸出做一個(gè)error計(jì)算，作為指導(dǎo)信號(hào)反向調(diào)整前一層輸出權(quán)重使其落入一個(gè)合理區(qū)間，反復(fù)這樣調(diào)整到第一層，每輪調(diào)整都有一個(gè)學(xué)習(xí)率，調(diào)整結(jié)束后，網(wǎng)絡(luò)越來越合理。

step函數(shù)換成邏輯回歸函數(shù)σ(z) = 1 / (1 + exp(–z))，無論x落在哪個(gè)區(qū)域，最后都有一個(gè)非0的梯度可以使用，落在（0,1）區(qū)間。

雙曲正切函數(shù)The hyperbolic tangent function tanh (z) = 2σ(2z) – 1，在（-1,1）的區(qū)間。

The ReLU function ReLU (z) = max (0, z)，層次很深時(shí)不會(huì)越傳遞越小。

多分類時(shí)，使用softmax（logistics激活函數(shù)）最為常見。

使用MLP多分類輸出層為softmax，隱層傾向于使用ReLU，因?yàn)橄蚯皞鬟f時(shí)不會(huì)有數(shù)值越來越小得不到訓(xùn)練的情況產(chǎn)生。

以mnist數(shù)據(jù)集為例

import tensorflow as tf

# construction phase

n_inputs = 28*28 # MNIST

# 隱藏層節(jié)點(diǎn)數(shù)目

n_hidden1 = 300

n_hidden2 = 100

n_outputs = 10

X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")

y = tf.placeholder(tf.int64, shape=(None), name="y")

def neuron_layer(X, n_neurons, name, activation=None):

with tf.name_scope(name):

n_inputs = int(X.get_shape()[1])

# 標(biāo)準(zhǔn)差初始設(shè)定，研究證明設(shè)為以下結(jié)果訓(xùn)練更快

stddev = 2 / np.sqrt(n_inputs)

# 使用截?cái)嗟恼龖B(tài)分布，過濾掉極端的數(shù)據(jù)，做了一個(gè)初始權(quán)重矩陣，是input和neurons的全連接矩陣

init = tf.truncated_normal((n_inputs, n_neurons), stddev=stddev)

W = tf.Variable(init, name="weights")

# biases項(xiàng)初始化為0

b = tf.Variable(tf.zeros([n_neurons]), name="biases")

# 該層輸出

z = tf.matmul(X, W) + b

# 根據(jù)activation選擇激活函數(shù)

if activation=="relu":

return tf.nn.relu(z)

else:

return z

with tf.name_scope("dnn"):

# 算上輸入層一共4層的dnn結(jié)構(gòu)

hidden1 = neuron_layer(X, n_hidden1, "hidden1", activation="relu")

hidden2 = neuron_layer(hidden1, n_hidden2, "hidden2", activation="relu")

# 直接輸出最后結(jié)果值

logits = neuron_layer(hidden2, n_outputs, "outputs")

# 使用TensorFlow自帶函數(shù)實(shí)現(xiàn)，最新修改成dense函數(shù)

from tensorflow.contrib.layers import fully_connected

with tf.name_scope("dnn"):

hidden1 = fully_connected(X, n_hidden1, scope="hidden1")

hidden2 = fully_connected(hidden1, n_hidden2, scope="hidden2")

logits = fully_connected(hidden2, n_outputs, scope="outputs", activation_fn=None)

# 使用logits（網(wǎng)絡(luò)輸出）計(jì)算交叉熵，取均值為誤差

with tf.name_scope("loss"):

xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)

loss = tf.reduce_mean(xentropy, name="loss")

learning_rate = 0.01

with tf.name_scope("train"):

optimizer = tf.train.GradientDescentOptimizer(learning_rate)

training_op = optimizer.minimize(loss)

with tf.name_scope("eval"):

correct = tf.nn.in_top_k(logits, y, 1)

accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))

init = tf.global_variables_initializer()

saver = tf.train.Saver()

# Execution Phase

from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets("/tmp/data/")

# 外層大循環(huán)跑400次，每個(gè)循環(huán)中小循環(huán)數(shù)據(jù)量50

n_epochs = 400

batch_size = 50

with tf.Session() as sess:

init.run()

for epoch in range(n_epochs):

for iteration in range(mnist.train.num_examples // batch_size):

X_batch, y_batch = mnist.train.next_batch(batch_size)

sess.run(training_op, feed_dict={X: X_batch, y: y_batch})

acc_train = accuracy.eval(feed_dict={X: X_batch, y: y_batch})

acc_test = accuracy.eval(feed_dict={X: mnist.test.images,y: mnist.test.labels})

print(epoch, "Train accuracy:", acc_train, "Test accuracy:", acc_test)

# 下次再跑模型時(shí)不用再次訓(xùn)練了

save_path = saver.save(sess, "./my_model_final.ckpt")

# 下次調(diào)用

with tf.Session() as sess:

saver.restore(sess, "./my_model_final.ckpt") # or better, use save_path

X_new_scaled = mnist.test.images[:20]

Z = logits.eval(feed_dict={X: X_new_scaled})

y_pred = np.argmax(Z, axis=1)

超參數(shù)設(shè)置

隱層數(shù)量：一般來說單個(gè)隱層即可，對(duì)于復(fù)雜問題，由于深層模型可以實(shí)現(xiàn)淺層的指數(shù)級(jí)別的效果，且每層節(jié)點(diǎn)數(shù)不多，加至overfit就不要再加了。

每層神經(jīng)元數(shù)量：以漏斗形逐層遞減，輸入層最多，逐漸features更少代表性更強(qiáng)。

激活函數(shù)選擇（activation function）：隱層多選擇ReLU，輸出層多選擇softmax