97色色超级视屏,国产在线最新刺激丰满

2018年9月18日筆記

tensorflow是谷歌google的深度學習框架，tensor中文叫做張量，flow叫做流。
CNN是convolutional neural network的簡稱，中文叫做卷積神經(jīng)網(wǎng)絡。
MNIST是Mixed National Institue of Standards and Technology database的簡稱，中文叫做美國國家標準與技術研究所數(shù)據(jù)庫。
此文在上一篇文章《基于tensorflow+DNN的MNIST數(shù)據(jù)集手寫數(shù)字分類預測》的基礎上修改模型為卷積神經(jīng)網(wǎng)絡模型，模型準確率從98%提升到99.2%
《基于tensorflow+DNN的MNIST數(shù)據(jù)集手寫數(shù)字分類預測》文章鏈接：http://m.itdecent.cn/p/9a4ae5655ca6

0.編程環(huán)境

操作系統(tǒng)：Win10
python版本：3.6
tensorflow版本：1.6
集成開發(fā)環(huán)境：jupyter notebook

1.致謝聲明

1.本文是作者學習《周莫煩tensorflow視頻教程》的成果，感激前輩；
視頻鏈接：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/
2.參考云水木石的文章，鏈接：https://mp.weixin.qq.com/s/MTugq-5AdPGik3yJb9yDJQ

2.配置環(huán)境

使用卷積神經(jīng)網(wǎng)絡模型要求有較高的機器配置，如果使用CPU版tensorflow會花費大量時間。
讀者在有nvidia顯卡的情況下，安裝GPU版tensorflow會提高計算速度50倍。
安裝教程鏈接：https://blog.csdn.net/qq_36556893/article/details/79433298
如果沒有nvidia顯卡，但有visa信用卡，請閱讀我的另一篇文章《在谷歌云服務器上搭建深度學習平臺》，鏈接：http://m.itdecent.cn/p/893d622d1b5a

3.下載并解壓數(shù)據(jù)集

MNIST數(shù)據(jù)集下載鏈接: https://pan.baidu.com/s/1fPbgMqsEvk2WyM9hy5Em6w 密碼: wa9p
下載壓縮文件MNIST_data.rar完成后，選擇解壓到當前文件夾，不要選擇解壓到MNIST_data。
文件夾結構如下圖所示：

image.png

4.完整代碼

此章是第5-8章的匯總，能夠直接運行，使讀者有編程結果的感性認識。
如果下面一段代碼運行成功，則說明安裝tensorflow環(huán)境成功。
想要了解代碼的具體實現(xiàn)細節(jié)，請閱讀后面的章節(jié)。
在做第5-8章代碼實踐時，只建議使用jupyter開發(fā)環(huán)境。

import warnings
warnings.filterwarnings('ignore')
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
batch_size = 100
X_holder = tf.placeholder(tf.float32)
y_holder = tf.placeholder(tf.float32)

X_images = tf.reshape(X_holder, [-1, 28, 28, 1])
#convolutional layer 1
conv1_Weights = tf.Variable(tf.truncated_normal([5, 5, 1, 32], stddev=0.1))
conv1_biases = tf.Variable(tf.constant(0.1, shape=[32]))
conv1_conv2d = tf.nn.conv2d(X_images, conv1_Weights, strides=[1, 1, 1, 1], padding='SAME') + conv1_biases
conv1_activated = tf.nn.relu(conv1_conv2d)
conv1_pooled = tf.nn.max_pool(conv1_activated, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
#convolutional layer 2
conv2_Weights = tf.Variable(tf.truncated_normal([5, 5, 32, 64], stddev=0.1))
conv2_biases = tf.Variable(tf.constant(0.1, shape=[64]))
conv2_conv2d = tf.nn.conv2d(conv1_pooled, conv2_Weights, strides=[1, 1, 1, 1], padding='SAME') + conv2_biases
conv2_activated = tf.nn.relu(conv2_conv2d)
conv2_pooled = tf.nn.max_pool(conv2_activated, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
#full connected layer 1
connect1_flat = tf.reshape(conv2_pooled, [-1, 7 * 7 * 64])
connect1_Weights = tf.Variable(tf.truncated_normal([7 * 7 * 64, 1024], stddev=0.1))
connect1_biases = tf.Variable(tf.constant(0.1, shape=[1024]))
connect1_Wx_plus_b = tf.add(tf.matmul(connect1_flat, connect1_Weights), connect1_biases)
connect1_activated = tf.nn.relu(connect1_Wx_plus_b)
#full connected layer 2
connect2_Weights = tf.Variable(tf.truncated_normal([1024, 10], stddev=0.1))
connect2_biases = tf.Variable(tf.constant(0.1, shape=[10]))
connect2_Wx_plus_b = tf.add(tf.matmul(connect1_activated, connect2_Weights), connect2_biases)
predict_y = tf.nn.softmax(connect2_Wx_plus_b)
#loss and train
loss = tf.reduce_mean(-tf.reduce_sum(y_holder * tf.log(predict_y), 1))
optimizer = tf.train.AdamOptimizer(0.0001)
train = optimizer.minimize(loss)

init = tf.global_variables_initializer()
session = tf.Session()
session.run(init)

for i in range(1001):
    train_images, train_labels = mnist.train.next_batch(200)
    session.run(train, feed_dict={X_holder:train_images, y_holder:train_labels})
    if i % 100 == 0:
        correct_prediction = tf.equal(tf.argmax(predict_y, 1), tf.argmax(y_holder, 1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
        test_images, test_labels = mnist.test.next_batch(2000)
        train_accuracy = session.run(accuracy, feed_dict={X_holder:train_images, y_holder:train_labels})
        test_accuracy = session.run(accuracy, feed_dict={X_holder:test_images, y_holder:test_labels})
        print('step:%d train accuracy:%.4f test accuracy:%.4f' %(i, train_accuracy, test_accuracy))

上面一段代碼的運行結果如下圖所示：

Extracting MNIST_data\train-images-idx3-ubyte.gz
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
step:0 train accuracy:0.1750 test accuracy:0.1475
step:100 train accuracy:0.8900 test accuracy:0.9080
step:200 train accuracy:0.9150 test accuracy:0.9375
step:300 train accuracy:0.9600 test accuracy:0.9525
step:400 train accuracy:0.9600 test accuracy:0.9605
step:500 train accuracy:0.9400 test accuracy:0.9670
step:600 train accuracy:0.9700 test accuracy:0.9680
step:700 train accuracy:0.9750 test accuracy:0.9630
step:800 train accuracy:0.9850 test accuracy:0.9745
step:900 train accuracy:1.0000 test accuracy:0.9760
step:1000 train accuracy:0.9750 test accuracy:0.9795

5.數(shù)據(jù)準備

import warnings
warnings.filterwarnings('ignore')
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
batch_size = 100
X_holder = tf.placeholder(tf.float32)
y_holder = tf.placeholder(tf.float32)

第1行代碼導入warnings庫，第2行代碼表示不打印警告信息；
第3行代碼導入tensorflow庫，取別名tf；
第4行代碼人從tensorflow.examples.tutorials.mnist庫中導入input_data文件；
本文作者使用anaconda集成開發(fā)環(huán)境，input_data文件所在路徑：C:\ProgramData\Anaconda3\Lib\site-packages\tensorflow\examples\tutorials\mnist，如下圖所示：

image.png

第6行代碼調用input_data文件的read_data_sets方法，需要2個參數(shù)，第1個參數(shù)的數(shù)據(jù)類型是字符串，是讀取數(shù)據(jù)的文件夾名，第2個關鍵字參數(shù)ont_hot數(shù)據(jù)類型為布爾bool，設置為True，表示預測目標值是否經(jīng)過One-Hot編碼；
第7行代碼定義變量batch_size的值為100；
第8、9行代碼中placeholder中文叫做占位符，將每次訓練的特征矩陣X和預測目標值y賦值給變量X_holder和y_holder。

6.搭建神經(jīng)網(wǎng)絡

X_images = tf.reshape(X_holder, [-1, 28, 28, 1])
#convolutional layer 1
conv1_Weights = tf.Variable(tf.truncated_normal([5, 5, 1, 32], stddev=0.1), name='conv1_Weights')
conv1_biases = tf.Variable(tf.constant(0.1, shape=[32]), name='conv1_biases')
conv1_conv2d = tf.nn.conv2d(X_images, conv1_Weights, strides=[1, 1, 1, 1], padding='SAME') + conv1_biases
conv1_activated = tf.nn.relu(conv1_conv2d)
conv1_pooled = tf.nn.max_pool(conv1_activated, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
#convolutional layer 2
conv2_Weights = tf.Variable(tf.truncated_normal([5, 5, 32, 64], stddev=0.1), name='conv2_Weights')
conv2_biases = tf.Variable(tf.constant(0.1, shape=[64]), name='conv2_biases')
conv2_conv2d = tf.nn.conv2d(conv1_pooled, conv2_Weights, strides=[1, 1, 1, 1], padding='SAME') + conv2_biases
conv2_activated = tf.nn.relu(conv2_conv2d)
conv2_pooled = tf.nn.max_pool(conv2_activated, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
#full connected layer 1
connect1_flat = tf.reshape(conv2_pooled, [-1, 7 * 7 * 64])
connect1_Weights = tf.Variable(tf.truncated_normal([7 * 7 * 64, 1024], stddev=0.1), name='connect1_Weights')
connect1_biases = tf.Variable(tf.constant(0.1, shape=[1024]), name='connect1_biases')
connect1_Wx_plus_b = tf.add(tf.matmul(connect1_flat, connect1_Weights), connect1_biases)
connect1_activated = tf.nn.relu(connect1_Wx_plus_b)
#full connected layer 2
connect2_Weights = tf.Variable(tf.truncated_normal([1024, 10], stddev=0.1), name='connect2_Weights')
connect2_biases = tf.Variable(tf.constant(0.1, shape=[10]), name='connect2_biases')
connect2_Wx_plus_b = tf.add(tf.matmul(connect1_activated, connect2_Weights), connect2_biases)
predict_y = tf.nn.softmax(connect2_Wx_plus_b)
#loss and train
loss = tf.reduce_mean(-tf.reduce_sum(y_holder * tf.log(predict_y), 1))
optimizer = tf.train.AdamOptimizer(0.0001)
train = optimizer.minimize(loss)

第1行代碼表示將1張圖片的784個特征變形為28*28的矩陣；
第3-7這5行代碼表示第1個卷積層；
第9-13這5行代碼表示第2個卷積層；
卷積層的處理有3步：卷積——>激活——>池化；
第15-19這5行代碼表示第1個全連接層；
第1個全連接層的處理有3步：展平——>矩陣計算——>激活
第21-24這4行代碼表示第2個全連接層；
第2個全連接層的處理有2步：矩陣計算——>激活
第26-28行代碼定義損失函數(shù)loss、優(yōu)化器optimizer、訓練過程train。

7.變量初始化

init = tf.global_variables_initializer()
session = tf.Session()
session.run(init)

對于神經(jīng)網(wǎng)絡模型，重要是其中的W、b這兩個參數(shù)。
開始神經(jīng)網(wǎng)絡模型訓練之前，這兩個變量需要初始化。
第1行代碼調用tf.global_variables_initializer實例化tensorflow中的Operation對象。

image.png

第2行代碼調用tf.Session方法實例化會話對象；
第3行代碼調用tf.Session對象的run方法做變量初始化。

8.模型訓練

for i in range(1001):
    train_images, train_labels = mnist.train.next_batch(200)
    session.run(train, feed_dict={X_holder:train_images, y_holder:train_labels})
    if i % 100 == 0:
        correct_prediction = tf.equal(tf.argmax(predict_y, 1), tf.argmax(y_holder, 1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
        test_images, test_labels = mnist.test.next_batch(2000)
        train_accuracy = session.run(accuracy, feed_dict={X_holder:train_images, y_holder:train_labels})
        test_accuracy = session.run(accuracy, feed_dict={X_holder:test_images, y_holder:test_labels})
        print('step:%d train accuracy:%.4f test accuracy:%.4f' %(i, train_accuracy, test_accuracy))

第1行代碼表示模型迭代訓練1001次；
第2行代碼表示從訓練集中隨機選出過200個樣本；
第3行代碼表示模型訓練，每運行1次此行代碼則模型訓練一次；
第4-10行代碼表示每隔100次訓練，打印模型的預測準確率；
第5-6行代碼是計算準確率在tensorflow中的表達；
第7行代碼表示從測試集中隨機選出2000個樣本；
第8行代碼表示計算模型在訓練集上的預測準確率，賦值給變量tran_accuracy；
第9行代碼表示計算模型在測試集上的預測準確率，賦值給變量test_accuracy；
第10行代碼打印步數(shù)、訓練集預測準確率、測試集預測準確率。
為了節(jié)省讀者的程序運行時間，只設置了1000次迭代。
本文作者迭代訓練20000次后，模型準確率在99.2%左右。
上面一段代碼的運行結果如下：

step:0 train accuracy:0.0850 test accuracy:0.1200
step:100 train accuracy:0.9200 test accuracy:0.8980
step:200 train accuracy:0.9400 test accuracy:0.9445
step:300 train accuracy:0.9400 test accuracy:0.9595
step:400 train accuracy:0.9450 test accuracy:0.9595
step:500 train accuracy:0.9750 test accuracy:0.9640
step:600 train accuracy:0.9800 test accuracy:0.9675
step:700 train accuracy:0.9800 test accuracy:0.9775
step:800 train accuracy:0.9900 test accuracy:0.9700
step:900 train accuracy:0.9850 test accuracy:0.9825
step:1000 train accuracy:0.9750 test accuracy:0.9765

9.保存模型

讀者在運行第8章后，則模型訓練已經(jīng)完成，可以跳到第11章運行代碼查看模型測試結果。
通過第9章和第10章的學習，讀者了解tensorflow如何保存模型和加載模型即可。
不能理解也并沒有關系，因為在實際工作中，Keras使得深度學習開發(fā)人員更容易保存模型和加載模型。
順帶提一句，tensorflow正在逐漸加強對Keras的支持，所以學習Keras是正確的選擇。
如何用keras解決MNIST數(shù)據(jù)集手寫數(shù)字分類問題，請閱讀本文作者的另外一篇文章《基于Keras+CNN的MNIST數(shù)據(jù)集手寫數(shù)字分類》，鏈接：http://m.itdecent.cn/p/3a8b310227e6
運行第8章后，才可以運行本章代碼。

saver = tf.train.Saver()
save_path = saver.save(session, 'save_model/mnist_cnn.ckpt')
print('Save to path:', save_path)

第1行代碼實例化模型保存對象；
第2行代碼調用模型保存對象的save方法，第1個參數(shù)是tensorflow的會話，第2個參數(shù)是表示路徑的字符串；
第3行代碼打印保存路徑。

10.加載模型

模型下載鏈接: https://pan.baidu.com/s/11_CV9LG5vzLvA3X-3l83bQ 提取碼: 8ayr
壓縮文件下載后放到代碼文件同級路徑，選擇解壓到save_model，如下圖所示：

image.png

save_model文件夾與代碼文件在同級目錄下，即可成功運行下面的代碼。
請讀者對照下圖，確保自己的代碼文件與數(shù)據(jù)、模型放置在正確的路徑下。

image.png

import warnings
warnings.filterwarnings('ignore')
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

tf.reset_default_graph()
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
batch_size = 100
X_holder = tf.placeholder(tf.float32)
y_holder = tf.placeholder(tf.float32)

X_images = tf.reshape(X_holder, [-1, 28, 28, 1])
#convolutional layer 1
conv1_Weights = tf.Variable(tf.truncated_normal([5, 5, 1, 32], stddev=0.1), name='conv1_Weights')
conv1_biases = tf.Variable(tf.constant(0.1, shape=[32]), name='conv1_biases')
conv1_conv2d = tf.nn.conv2d(X_images, conv1_Weights, strides=[1, 1, 1, 1], padding='SAME') + conv1_biases
conv1_activated = tf.nn.relu(conv1_conv2d)
conv1_pooled = tf.nn.max_pool(conv1_activated, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
#convolutional layer 2
conv2_Weights = tf.Variable(tf.truncated_normal([5, 5, 32, 64], stddev=0.1), name='conv2_Weights')
conv2_biases = tf.Variable(tf.constant(0.1, shape=[64]), name='conv2_biases')
conv2_conv2d = tf.nn.conv2d(conv1_pooled, conv2_Weights, strides=[1, 1, 1, 1], padding='SAME') + conv2_biases
conv2_activated = tf.nn.relu(conv2_conv2d)
conv2_pooled = tf.nn.max_pool(conv2_activated, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
#full connected layer 1
connect1_flat = tf.reshape(conv2_pooled, [-1, 7 * 7 * 64])
connect1_Weights = tf.Variable(tf.truncated_normal([7 * 7 * 64, 1024], stddev=0.1), name='connect1_Weights')
connect1_biases = tf.Variable(tf.constant(0.1, shape=[1024]), name='connect1_biases')
connect1_Wx_plus_b = tf.add(tf.matmul(connect1_flat, connect1_Weights), connect1_biases)
connect1_activated = tf.nn.relu(connect1_Wx_plus_b)
#full connected layer 2
connect2_Weights = tf.Variable(tf.truncated_normal([1024, 10], stddev=0.1), name='connect2_Weights')
connect2_biases = tf.Variable(tf.constant(0.1, shape=[10]), name='connect2_biases')
connect2_Wx_plus_b = tf.add(tf.matmul(connect1_activated, connect2_Weights), connect2_biases)
predict_y = tf.nn.softmax(connect2_Wx_plus_b)
#loss and train
loss = tf.reduce_mean(-tf.reduce_sum(y_holder * tf.log(predict_y), 1))
optimizer = tf.train.AdamOptimizer(0.0001)
train = optimizer.minimize(loss)

session = tf.Session()
saver = tf.train.Saver()
saver.restore(session, 'save_model/mnist_cnn.ckpt')
correct_prediction = tf.equal(tf.argmax(predict_y, 1), tf.argmax(y_holder, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print('load model successful')
train_images, train_labels = mnist.train.next_batch(5000)
test_images, test_labels = mnist.test.next_batch(5000)
train_accuracy = session.run(accuracy, feed_dict={X_holder:train_images, y_holder:train_labels})
test_accuracy = session.run(accuracy, feed_dict={X_holder:test_images, y_holder:test_labels})
print('train accuracy:%.4f test accuracy:%.4f' %(train_accuracy, test_accuracy))

上面一段代碼的運行結果如下：

Extracting MNIST_data\train-images-idx3-ubyte.gz
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
INFO:tensorflow:Restoring parameters from save_model/mnist_cnn.ckpt
load model successful
train accuracy:1.0000 test accuracy:0.9903

11.模型測試

本章代碼在jupyter開發(fā)環(huán)境中才會有顯示結果。

import math
import matplotlib.pyplot as plt
import numpy as np
%matplotlib inline

def drawDigit2(position, image, title, isTrue):
    plt.subplot(*position)
    plt.imshow(image.reshape(-1, 28), cmap='gray_r')
    plt.axis('off')
    if not isTrue:
        plt.title(title, color='red')
    else:
        plt.title(title)
        
def batchDraw2(batch_size):
    images,labels = mnist.test.next_batch(batch_size)
    predict_labels = session.run(predict_y, feed_dict={X_holder:images, y_holder:labels})
    image_number = images.shape[0]
    row_number = math.ceil(image_number ** 0.5)
    column_number = row_number
    plt.figure(figsize=(row_number+8, column_number+8))
    for i in range(row_number):
        for j in range(column_number):
            index = i * column_number + j
            if index < image_number:
                position = (row_number, column_number, index+1)
                image = images[index]
                actual = np.argmax(labels[index])
                predict = np.argmax(predict_labels[index])
                isTrue = actual==predict
                title = 'actual:%d\npredict:%d' %(actual,predict)
                drawDigit2(position, image, title, isTrue)

batchDraw2(100)
plt.show()

上面一段代碼的運行結果如下圖所示：

image.png

從上面的運行結果可以看出，100個數(shù)字中只錯了1個，符合前1章準確率為99%左右的計算結果。

12.總結

1.這是本文作者寫的第6篇關于tensorflow的文章，加深了對tensorflow框架的理解；
2.通過代碼實踐，本文作者掌握了卷積神經(jīng)網(wǎng)絡的構建，權重初始化，優(yōu)化器選擇等技巧；
3.tensorflow加載模型比sklearn加載模型稍有難度，保存模型時必須對變量命名，否則無法成功加載模型。

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

基于tensorflow+CNN的MNIST數(shù)據(jù)集手寫數(shù)字分類

基于tensorflow+CNN的MNIST數(shù)據(jù)集手寫數(shù)字分類

0.編程環(huán)境

1.致謝聲明

2.配置環(huán)境

3.下載并解壓數(shù)據(jù)集

4.完整代碼

5.數(shù)據(jù)準備

6.搭建神經(jīng)網(wǎng)絡

7.變量初始化

8.模型訓練

9.保存模型

10.加載模型

11.模型測試

12.總結

相關閱讀更多精彩內容

友情鏈接更多精彩內容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

基于tensorflow+CNN的MNIST數(shù)據(jù)集手寫數(shù)字分類

0.編程環(huán)境

1.致謝聲明

2.配置環(huán)境

3.下載并解壓數(shù)據(jù)集

4.完整代碼

5.數(shù)據(jù)準備

6.搭建神經(jīng)網(wǎng)絡

7.變量初始化

8.模型訓練

9.保存模型

10.加載模型

11.模型測試

12.總結

相關閱讀更多精彩內容

友情鏈接更多精彩內容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av