準(zhǔn)備

數(shù)據(jù)集：flower_photos

5個子文件夾，每個子文件夾代表一種花，表示不同類別，每張圖片是RGB彩色模式，大小不相同。先將原始圖像數(shù)據(jù)整理成模型需要的輸入數(shù)據(jù)。

Inception-v3模型

Google提供的訓(xùn)練好的模型

data_process.py

以下代碼將所有圖片分為訓(xùn)練數(shù)據(jù)，驗(yàn)證數(shù)據(jù)，測試數(shù)據(jù)。將圖片從jpg格式轉(zhuǎn)化為inception-v3模型所需要的299 * 299 * 3 的數(shù)字矩陣。

# -*- coding:utf-8 -*-

import glob
import os.path
import numpy as np
import tensorflow as tf
from tensorflow.python.platform import gfile

# 原始輸入數(shù)據(jù)的目錄，這個目錄下有5個子目錄，每個子目錄底下保存這屬于該
# 類別的所有圖片。
INPUT_DATA = 'flower_photos'
# 輸出文件地址。我們將整理后的圖片數(shù)據(jù)通過numpy的格式保存。
OUTPUT_FILE = 'flower_processed_data.npy'

# 測試數(shù)據(jù)和驗(yàn)證數(shù)據(jù)比例。
VALIDATION_PERCENTAGE = 10
TEST_PERCENTAGE = 10

# 讀取數(shù)據(jù)并將數(shù)據(jù)分割成訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測試數(shù)據(jù)。
def create_image_lists(sess, testing_percentage, validation_percentage):
    sub_dirs = [x[0] for x in os.walk(INPUT_DATA)]
    is_root_dir = True

    # 初始化各個數(shù)據(jù)集。
    training_images = []
    training_labels = []
    testing_images = []
    testing_labels = []
    validation_images = []
    validation_labels = []
    current_label = 0

    # 讀取所有的子目錄。
    for sub_dir in sub_dirs:
        if is_root_dir:
            is_root_dir = False
            continue

        # 獲取一個子目錄中所有的圖片文件。
        extensions = ['jpg', 'jpeg', 'JPG', 'JPEG']
        file_list  =[]
        dir_name = os.path.basename(sub_dir)
        for extension in extensions:
            file_glob = os.path.join(INPUT_DATA, dir_name, '*.' + extension)
            file_list.extend(glob.glob(file_glob))
            if not file_list: continue
            print("processing:", dir_name)

        i = 0
        # 處理圖片數(shù)據(jù)。
        for file_name in file_list:
            i += 1
            # 讀取并解析圖片，將圖片轉(zhuǎn)化為299*299以方便inception-v3模型來處理。
            image_raw_data = gfile.FastGFile(file_name, 'rb').read()
            image = tf.image.decode_jpeg(image_raw_data)
            if image.dtype != tf.float32:
                image = tf.image.convert_image_dtype(image, dtype=tf.float32)
            image = tf.image.resize_images(image, [299, 299])
            image_value = sess.run(image)

            # 隨機(jī)劃分?jǐn)?shù)據(jù)聚。
            chance = np.random.randint(100)
            if chance < validation_percentage:
                validation_images.append(image_value)
                validation_labels.append(current_label)
            elif chance < (testing_percentage + validation_percentage):
                testing_images.append(image_value)
                testing_labels.append(current_label)
            else:
                training_images.append(image_value)
                training_labels.append(current_label)
            if i % 200 == 0:
                print(i, "images processed")
        current_label += 1

    # 將訓(xùn)練數(shù)據(jù)隨機(jī)打亂以獲得更好的訓(xùn)練效果。
    state = np.random.get_state()
    np.random.shuffle(training_images)
    np.random.set_state(state)
    np.random.shuffle(training_labels)

    return np.asarray([training_images, training_labels,
                       validation_images, validation_labels,
                       testing_images, testing_labels])

def main():
    with tf.Session() as sess:
        processed_data = create_image_lists(sess, TEST_PERCENTAGE, VALIDATION_PERCENTAGE)
        # 通過numpy格式保存處理后的數(shù)據(jù)。
        np.save(OUTPUT_FILE, processed_data)


if __name__ == '__main__':
    main()

fine_tuning.py

準(zhǔn)備好新的數(shù)據(jù)集和訓(xùn)練好的模型之后，通過以下代碼完成遷移學(xué)習(xí)。

# -*- coding:utf-8 -*-

import numpy as np
import tensorflow as tf
import tensorflow.contrib.slim as slim

# 加載通過TensorFlow-Slim定義好的inception_v3模型。
import tensorflow.contrib.slim.python.slim.nets.inception_v3 as inception_v3

# 處理好之后的數(shù)據(jù)文件。
INPUT_DATA = 'flower_processed_data.npy'
# 保存訓(xùn)練好的模型的路徑。
TRAIN_FILE = 'train_dir/model'
# 谷歌提供的訓(xùn)練好的模型文件地址。因?yàn)镚itHub無法保存大于100M的文件，所以
# 在運(yùn)行時需要先自行從Google下載inception_v3.ckpt文件。
CKPT_FILE = 'inception_v3.ckpt'

# 定義訓(xùn)練中使用的參數(shù)。
LEARNING_RATE = 0.0001
STEPS = 300
BATCH = 32
N_CLASSES = 5

# 不需要從谷歌訓(xùn)練好的模型中加載的參數(shù)。
CHECKPOINT_EXCLUDE_SCOPES = 'InceptionV3/Logits,InceptionV3/AuxLogits'
# 需要訓(xùn)練的網(wǎng)絡(luò)層參數(shù)名稱，在fine-tuning的過程中就是最后的全聯(lián)接層。
TRAINABLE_SCOPES='InceptionV3/Logits,InceptionV3/AuxLogits'


# 獲取所有需要從谷歌訓(xùn)練好的模型中加載的參數(shù)。
def get_tuned_variables():
    exclusions = [scope.strip() for scope in CHECKPOINT_EXCLUDE_SCOPES.split(',')]
    variables_to_restore = []

    # 枚舉inception-v3模型中所有的參數(shù)，然后判斷是否需要從加載列表中移除。
    for var in slim.get_model_variables():
        excluded = False
        for exclusion in exclusions:
            if var.op.name.startswith(exclusion):
                excluded = True
                break
        if not excluded:
            variables_to_restore.append(var)
    return variables_to_restore


# 獲取所有需要訓(xùn)練的變量列表。
def get_trainable_variables():
    scopes = [scope.strip() for scope in TRAINABLE_SCOPES.split(',')]
    variables_to_trian = []

    # 枚舉所有需要訓(xùn)練的參數(shù)前綴，并通過這些前綴找到所有需要訓(xùn)練的參數(shù)。
    for scope in scopes:
        variables = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope)
        variables_to_trian.extend(variables)
    return variables_to_trian


def main():
    # 加載預(yù)處理好的數(shù)據(jù)。
    processed_data = np.load(INPUT_DATA)
    training_images = processed_data[0]
    n_training_example = len(training_images)
    training_labels = processed_data[1]

    validation_images = processed_data[2]
    validation_labels = processed_data[3]

    testing_images = processed_data[4]
    testing_labels = processed_data[5]

    print("%d training examples, %d validation examples and %d testing examples." % (
        n_training_example, len(validation_labels), len(testing_labels)))

    # 定義inception-v3的輸入，images為輸入圖片，labels為每一張圖片對應(yīng)的標(biāo)簽。
    images = tf.placeholder(tf.float32, [None, 299, 299, 3], name='input_images')
    labels = tf.placeholder(tf.int64, [None], name='labels')

    # 定義inception-v3模型。因?yàn)楣雀杞o出的只有模型參數(shù)取值，所以這里
    # 需要在這個代碼中定義inception-v3的模型結(jié)構(gòu)。雖然理論上需要區(qū)分訓(xùn)練和
    # 測試中使用到的模型，也就是說在測試時應(yīng)該使用is_training=False，但是
    # 因?yàn)轭A(yù)先訓(xùn)練好的inception-v3模型中使用的batch normalization參數(shù)與
    # 新的數(shù)據(jù)會有出入，所以這里直接使用同一個模型來做測試。
    with slim.arg_scope(inception_v3.inception_v3_arg_scope()):
        logits, _ = inception_v3.inception_v3(images, num_classes=N_CLASSES, is_training=True)
    # 獲取需要訓(xùn)練的變量
    trainable_variables = get_trainable_variables()
    # 定義交叉熵?fù)p失，在模型定義的時候已經(jīng)將正則化損失加入損失集合了。
    tf.losses.softmax_cross_entropy(tf.one_hot(labels, N_CLASSES), logits, weights=1.0)
    # 定義訓(xùn)練過程。這里minimize的過程中指定了需要優(yōu)化的變量集合。
    train_step = tf.train.RMSPropOptimizer(LEARNING_RATE).minimize(tf.losses.get_total_loss())

    # 計(jì)算正確率
    with tf.name_scope('evaluation'):
        correct_prediction = tf.equal(tf.arg_max(logits, 1), labels)
        evaluation_step = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

    # 定義加載Google訓(xùn)練好的Inception-v3模型的Saver。
    load_fn = slim.assign_from_checkpoint_fn(
        CKPT_FILE,
        get_tuned_variables(),
        ignore_missing_vars=True)

    # 定義保存新模型的Saver。
    saver = tf.train.Saver()

    with tf.Session() as sess:
        # 初始化沒有加載的變量
        init = tf.global_variables_initializer()
        sess.run(init)

        # 加載Google已經(jīng)訓(xùn)練好的模型
        print('Loading tuned variables from %s' % CKPT_FILE)
        load_fn(sess)

        start = 0
        end = BATCH
        for i in range(STEPS):
           sess.run(train_step, feed_dict={
               images: training_images[start: end],
               labels: training_labels[start: end]})

           if i % 30 == 0 or i + 1 == STEPS:
               saver.save(sess, TRAIN_FILE, global_step=i)

               validation_accuracy = sess.run(evaluation_step, feed_dict={
                   images: validation_images, labels: validation_labels})
               print('Step %d: Validation accuracy = %.1f%%' % (
                   i, validation_accuracy * 100.0))

           start = end
           if start == n_training_example:
               start = 0

           end = start + BATCH
           if end > n_training_example:
               end = n_training_example

        # 在最后的測試數(shù)據(jù)上測試正確率。
        test_accuracy = sess.run(evaluation_step, feed_dict={
            images: testing_images, labels: testing_labels})
        print('Final test accuracy = %.1f%%' % (test_accuracy * 100))


if __name__ == '__main__':
    main()

顯示結(jié)果

Step 0: Validation accuracy = 8.5%
Step 30: Validation accuracy = 21.6%
Step 60: Validation accuracy = 77.9%
Step 90: Validation accuracy = 91.1%
Step 120: Validation accuracy = 96.7%
Step 150: Validation accuracy = 96.7%
Step 180: Validation accuracy = 95.8%
Step 210: Validation accuracy = 97.7%
Step 240: Validation accuracy = 97.7%
Step 270: Validation accuracy = 96.7%
Step 299: Validation accuracy = 98.1%