原文來源：Google Brain
作者：Asim Shankar 、 Wolff Dobson
「雷克世界」編譯：嗯~阿童木呀
今天，我們在TensorFlow中引入了Eager Execution。Eager Execution是一個命令式、運行定義式的接口，其中，操作一旦從Python中調(diào)用便立刻得以執(zhí)行。這樣TensorFlow的入門使用就變得相對簡單，并可以使研究和開發(fā)過程更為直觀。
使用Eager Execution的益處包括以下幾點：
具有面對即時運行錯誤的快速調(diào)試和Python工具的集成。
支持使用易用的Python控制流的動態(tài)模型。
大力支持自定義的、高階梯度。
適用幾乎所有可用的TensorFlow操作。
現(xiàn)在，eager可作為一個實驗性特征，所以我們正在尋求來自社區(qū)的反饋意見，以指導(dǎo)我們的研究方向。
為了更好地理解這一點，我們可以看一些相關(guān)代碼，這就非常具有技術(shù)性了，而且如果熟悉TensorFlow的話也將會有所幫助。
使用Eager Execution
一旦你啟用Eager Execution，操作將立即得以執(zhí)行，并將其值返回給Python，而不需要調(diào)用Session.run()。例如，將兩個矩陣相乘，代碼為：
importtensorflow as tf
importtensorflow.contrib.eager as tfe
tfe.enable_eager_execution()
x = [[2.]]
m = tf.matmul(x, x)
使用print或Python調(diào)試器來檢查中間結(jié)果其實是很簡單的。
print(m)
# The 1x1 matrix [[4.]]
可以使用Python控制流來構(gòu)建動態(tài)模型。下面是使用TensorFlow算術(shù)運算構(gòu)建考拉茲猜想（Collatz conjecture）的一個示例：
a = tf.constant(12)
counter = 0
while not tf.equal(a, 1):
iftf.equal(a % 2, 0):
a = a / 2
else:
a = 3 * a + 1
print(a)
其中，tf.constant(12)張量對象的使用可以促進將所有的數(shù)學(xué)運算提升到張量運算中，因此所有返回值都將是張量。
梯度
大多數(shù)TensorFlow用戶都對自動微分法（automatic differentiation）感興趣。因為在每個調(diào)用期間可能會出現(xiàn)不同的操作，所以我們將所有的前向操作記錄到一個磁帶上，然后在計算梯度時回放。一旦我們計算好梯度之后，就可以將磁帶丟棄。
如果你對autograd包非常熟悉的話，那就很簡單了，因為API與它是很相似的。例如：
def square(x):
returntf.multiply(x, x)
grad = tfe.gradients_function(square)
print(square(3.)) # [9.]
print(grad(3.)) # [6.]
gradients_function調(diào)用使用Python函數(shù)square()作為參數(shù)，并返回一個Python可調(diào)用的函數(shù)，用以計算函數(shù)square()相對于其輸入的偏導(dǎo)數(shù)。所以，為了得到輸入為3.0時的square()的導(dǎo)數(shù)，調(diào)用grad(3.0)，即結(jié)果為6。
可以使用相同的gradients_function調(diào)用以得到square的二階導(dǎo)數(shù)：
gradgrad = tfe.gradients_function(lambda x: gra
d(x)[0])
print(gradgrad(3.)) # [2.]
正如我們所說，控制流可以導(dǎo)致不同的操作得以運行，正如在這個例子中顯示的那樣：
def abs(x):
return x if x > 0. else -x
grad = tfe.gradients_function(abs)
print(grad(2.0)) # [1.]
print(grad(-2.0)) # [-1.]
自定義梯度
用戶可能希望為操作或函數(shù)自定義梯度。如果從多方面考慮的話，這可能會是有益的，包括為一系列操作提供一個更有效或數(shù)值更穩(wěn)定的梯度。
下面是一個示例，說明了自定義梯度的使用。我們先看看函數(shù)log(1 + ex)，它通常出現(xiàn)在交叉熵和對數(shù)似然值（log likelihoods）的計算中。
def log1pexp(x):
return tf.log(1 + tf.exp(x))
grad_log1pexp = tfe.gradients_function(log1pexp
)
# The gradient computation works fine at x = 0.
print(grad_log1pexp(0.))
# [0.5]
# However it returns a `nan` at x = 100 due to
numerical instability.
print(grad_log1pexp(100.))
# [nan]
我們可以使用上述函數(shù)的自定義梯度來分析簡化梯度表達式。需要注意的是，下面的梯度函數(shù)實現(xiàn)是如何重用在正向傳遞期間得以計算的表達式(tf.exp(x))的，通過避免冗余計算使得梯度計算更加高效。
@tfe.custom_gradient
e = tf.exp(x)
def grad(dy):
returndy * (1 - 1 / (1 + e))
return tf.log(1 + e), grad
# Gradient at x = 0 works as before.
# And now gradient computation at x=100 works a
s well.
# [1.0]
構(gòu)建模型
模型可以在類中進行組織。下面是一個模型類，它創(chuàng)建一個（簡單的）雙層網(wǎng)絡(luò)，可以對標準的MNIST手寫數(shù)字進行分類。
classMNISTModel(tfe.Network):
def __init__(self):
super(MNISTModel, self).__init__()
self.layer1 = self.track_layer(tf.layers.Dens
e(units=10))
self.layer2 = self.track_layer(tf.layers.Dens
def call(self, input):
"""Actually runs the model."""
result = self.layer1(input)
result = self.layer2(result)
return result
我們建議在tf.layers中使用類（而不是函數(shù)），因為它們創(chuàng)建并包含了模型參數(shù)（變量）。變量的生命周期是與層對象的生命周期綁定在一起的，因此要確保對其進行追蹤。
為什么要使用tfe.Network？網(wǎng)絡(luò)就是層的容器，也就是tf.layer.Layer本身，使得Network對象能夠嵌入到其他Network對象中。它還包含幫助檢查、保存和恢復(fù)的實用程序。
即使不對模型進行訓(xùn)練，我們也可以強制調(diào)用它并檢查輸出結(jié)果：
# Let's make up a blank input image
model = MNISTModel()
batch = tf.zeros([1, 1, 784])
print(batch.shape)
# (1, 1, 784)
result = model(batch)
print(result)
# tf.Tensor([[[ 0. 0., ...., 0.]]], shape=(1,
1, 10), dtype=float32)
請注意，我們不需要任何占位符或會話（sessions）。在我們第一次將輸入傳遞進去時，層參數(shù)的大小就已經(jīng)得以設(shè)置。
為了能夠?qū)θ魏文Ｐ瓦M行訓(xùn)練，我們定義了一個損失函數(shù)進行優(yōu)化、計算梯度，并使用優(yōu)化器來更新變量。首先，定義一個損失函數(shù)：
defloss_function(model, x, y):
y_ = model(x)
returntf.nn.softmax_cross_entropy_with_logits
(labels=y, logits=y_)
然后，訓(xùn)練的循環(huán)過程如下：
optimizer = tf.train.GradientDescentOptimizer(l
earning_rate=0.001)
for (x, y) in tfe.Iterator(dataset):
grads = tfe.implicit_gradients(loss_function)
(model, x, y)
optimizer.apply_gradients(grads)
對于在其計算過程中使用的所有TensorFlow變量，implicit_gradients()將計算loss_function的導(dǎo)數(shù)。
我們可以將計算移動到GPU上，就像我們一直使用TensorFlow所做的那樣：
withtf.device("/gpu:0"):
optimizer.minimize(lambda: loss_function(mo
del, x, y))
（注意：我們正在減少存儲損失，并直接調(diào)用optimizer.minimize，當然，你也可以使用上面提到的apply_gradients()方法，它們是等效的。）
使用具有g(shù)raph的eager
Eager Execution使開發(fā)和調(diào)試過程更加具有互動性，但是涉及在分布式訓(xùn)練、性能優(yōu)化和生產(chǎn)部署方面，TensorFlow graphs具有很多優(yōu)勢。
啟用Eager Execution時，執(zhí)行操作的相同代碼將構(gòu)建一個描述Eager Execution未啟動時的計算圖。要將模型轉(zhuǎn)換為圖，只需在新的Python會話中運行相同的代碼即可，其中，Eager Execution還沒有得以啟用，正如在MNIST示例中所看到的那樣。可以從檢查點保存和恢復(fù)模型變量的值，從而使我們能夠更容易地在eager（命令式）和graph（聲明式）之間移動編程。通過這種方式，啟用Eager Execution編程的模型可以輕松導(dǎo)出以進行生產(chǎn)部署。
在不久的將來，我們將提供實用程序，以便選擇性地將模型的部分轉(zhuǎn)換為圖。通過這種方式，你可以將計算的各個部分（例如一個自定義RNN單位的內(nèi)部）融合在一起，以便實現(xiàn)高性能，還可以保持Eager Execution的靈活性和易讀性。
代碼如何更改？
對于當前的TensorFlow用戶來說，使用Eager Execution應(yīng)該是很直觀、容易的。只有少數(shù)專門針對eager 的API可能會有些難度。大多數(shù)現(xiàn)有的API和操作需要與已啟動的eager一起運行。下面是一些注意事項：
與TensorFlow一樣，我們的建議是，如果你還沒有從隊列切換到使用tf.data進行輸入處理，那你該將其提上日程了。它更容易使用，且通常較快。更多詳情，可點擊鏈接查閱：博客文章（https://developers.googleblog.com/2017/09/introducing-tensorflow-datasets.html），相關(guān)資料文檔（https://www.tensorflow.org/programmers_guide/datasets）。
使用面向?qū)ο髮?，如tf.layer.Conv2D()或Keras層；它們可以對變量進行顯式存儲。
對于大多數(shù)模型來說，你可以編寫一些代碼，以便它們在執(zhí)行Eager Execution和圖形構(gòu)建時都可以使用。當然也有一些例外，例如使用Python控制流基于輸入來改變計算的動態(tài)模型。
一旦你調(diào)用了tfe.enable_eager_execution()，它就不能關(guān)閉。要獲取圖行為，請啟動一個新的Python會話。
入門和未來
這只是一個預(yù)覽版，所以你可能會碰到一些不足之處。入門須知：
安裝TensorFlow的nightly版本：https://github.com/tensorflow/tensorflow#installation
查看README文件（包括已知問題）：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/eager/README.md
在Eager Execution的用戶指南中獲取詳細的說明：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/eager/python/g3doc/guide.md
查看GitHub中的有關(guān)Eager示例：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/eager/python/examples
查閱變更日志：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/eager/README.md#changelog
