本文地址：https://blog.keras.io/keras-as-a-simplified-interface-to-tensorflow-tutorial.html
本文作者：Francois Chollet
如果Tensorflow是你的首選框架，并且你想找一個簡化的、高層的模型定義接口來讓自己活的不那么累，那么這篇文章就是給你看的
Keras的層和模型與純TensorFlow的tensor完全兼容，因此，Keras可以作為TensorFlow的模型定義，甚至可以與其他TensoFlow庫協(xié)同工作。
注意，本文假定你已經(jīng)把Keras配置為tensorflow后端，如果你不懂怎么配置，請查看這里
讓我們以一個簡單的例子開始：MNIST數(shù)字分類。我們將以Keras的全連接層堆疊構造一個TensorFlow的分類器，
import tensorflow as tfsess = tf.Session()from keras import backend as KK.set_session(sess)然后，我們開始用tensorflow構建模型：
# this placeholder will contain our input digits, as flat vectorsimg = tf.placeholder(tf.float32, shape=(None, 784))用Keras可以加速模型的定義過程：
from keras.layers import Dense# Keras layers can be called on TensorFlow tensors:x = Dense(128, activation='relu')(img) # fully-connected layer with 128 units and ReLU activationx = Dense(128, activation='relu')(x)preds = Dense(10, activation='softmax')(x) # output layer with 10 units and a softmax activation定義標簽的占位符和損失函數(shù)：
labels = tf.placeholder(tf.float32, shape=(None, 10))from keras.objectives import categorical_crossentropyloss = tf.reduce_mean(categorical_crossentropy(labels, preds))然后，我們可以用tensorflow的優(yōu)化器來訓練模型：
from tensorflow.examples.tutorials.mnist import input_datamnist_data = input_data.read_data_sets('MNIST_data', one_hot=True)train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss)with sess.as_default(): for i in range(100): batch = mnist_data.train.next_batch(50) train_step.run(feed_dict={img: batch[0], labels: batch[1]})最后我們來評估一下模型性能：
from keras.metrics import categorical_accuracy as accuracyacc_value = accuracy(labels, preds)with sess.as_default(): print acc_value.eval(feed_dict={img: mnist_data.test.images, labels: mnist_data.test.labels})我們只是將Keras作為生成從tensor到tensor的函數(shù)（op）的快捷方法而已，優(yōu)化過程完全采用的原生tensorflow的優(yōu)化器，而不是Keras優(yōu)化器，我們壓根不需要Keras的Model
關于原生TensorFlow和Keras的優(yōu)化器的一點注記：雖然有點反直覺，但Keras的優(yōu)化器要比TensorFlow的優(yōu)化器快大概5-10%。雖然這種速度的差異基本上沒什么差別。
有些Keras層，如BN，Dropout，在訓練和測試過程中的行為不一致，你可以通過打印layer.uses_learning_phase來確定當前層工作在訓練模式還是測試模式。
如果你的模型包含這樣的層，你需要指定你希望模型工作在什么模式下，通過Keras的backend你可以了解當前的工作模式：
from keras import backend as Kprint K.learning_phase()向feed_dict中傳遞1（訓練模式）或0（測試模式）即可指定當前工作模式：
# train modetrain_step.run(feed_dict={x: batch[0], labels: batch[1], K.learning_phase(): 1})例如，下面代碼示范了如何將Dropout層加入剛才的模型中：
from keras.layers import Dropoutfrom keras import backend as Kimg = tf.placeholder(tf.float32, shape=(None, 784))labels = tf.placeholder(tf.float32, shape=(None, 10))x = Dense(128, activation='relu')(img)x = Dropout(0.5)(x)x = Dense(128, activation='relu')(x)x = Dropout(0.5)(x)preds = Dense(10, activation='softmax')(x)loss = tf.reduce_mean(categorical_crossentropy(labels, preds))train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss)with sess.as_default(): for i in range(100): batch = mnist_data.train.next_batch(50) train_step.run(feed_dict={img: batch[0], labels: batch[1], K.learning_phase(): 1})acc_value = accuracy(labels, preds)with sess.as_default(): print acc_value.eval(feed_dict={img: mnist_data.test.images, labels: mnist_data.test.labels, K.learning_phase(): 0})Keras的層與模型和tensorflow的命名完全兼容，例如：
x = tf.placeholder(tf.float32, shape=(None, 20, 64))with tf.name_scope('block1'): y = LSTM(32, name='mylstm')(x)我們LSTM層的權重將會被命名為block1/mylstm_W_i, block1/mylstm_U, 等..類似的，設備的命名也會像你期望的一樣工作：
with tf.device('/gpu:0'): x = tf.placeholder(tf.float32, shape=(None, 20, 64)) y = LSTM(32)(x) # all ops / variables in the LSTM layer will live on GPU:0任何在tensorflow的Graph作用域定義的Keras層或模型的所有變量和操作將被生成為該Graph的一個部分，例如，下面的代碼將會以你所期望的形式工作
from keras.layers import LSTMimport tensorflow as tfmy_graph = tf.Graph()with my_graph.as_default(): x = tf.placeholder(tf.float32, shape=(None, 20, 64)) y = LSTM(32)(x) # all ops / variables in the LSTM layer are created as part of our graph變量共享應通過多次調用同樣的Keras層或模型來實現(xiàn)，而不是通過TensorFlow的變量作用域實現(xiàn)。TensorFlow變量作用域將對Keras層或模型沒有任何影響。更多Keras權重共享的信息請參考這里
Keras通過重用相同層或模型的對象來完成權值共享，這是一個例子：
# instantiate a Keras layerlstm = LSTM(32)# instantiate two TF placeholdersx = tf.placeholder(tf.float32, shape=(None, 20, 64))y = tf.placeholder(tf.float32, shape=(None, 20, 64))# encode the two tensors with the *same* LSTM weightsx_encoded = lstm(x)y_encoded = lstm(y)某些Keras層，如狀態(tài)RNN和BN層，其內部的更新需要作為訓練過程的一步來進行，這些更新被存儲在一個tensor tuple里：layer.updates，你應該生成assign操作來使在訓練的每一步這些更新能夠被運行，這里是例子：
from keras.layers import BatchNormalizationlayer = BatchNormalization()(x)update_ops = []for old_value, new_value in layer.updates: update_ops.append(tf.assign(old_value, new_value))注意如果你使用Keras模型，model.updates將與上面的代碼作用相同（收集模型中所有更新）
另外，如果你需要顯式的收集一個層的可訓練權重，你可以通過layer.trainable_weights來實現(xiàn)，對模型而言是model.trainable_weights，它是一個tensorflow變量對象的列表：
from keras.layers import Denselayer = Dense(32)(x) # instantiate and call a layerprint layer.trainable_weights # list of TensorFlow Variables這些東西允許你實現(xiàn)你基于TensorFlow優(yōu)化器實現(xiàn)自己的訓練程序
假如你已經(jīng)有一個訓練好的Keras模型，如VGG-16，現(xiàn)在你想將它應用在你的TensorFlow工作中，應該怎么辦？
首先，注意如果你的預訓練權重含有使用Theano訓練的卷積層的話，你需要對這些權重的卷積核進行轉換，這是因為Theano和TensorFlow對卷積的實現(xiàn)不同，TensorFlow和Caffe實際上實現(xiàn)的是相關性計算。點擊這里查看詳細示例。
假設你從下面的Keras模型開始，并希望對其進行修改以使得它可以以一個特定的tensorflow張量my_input_tensor為輸入，這個tensor可能是一個數(shù)據(jù)feeder或別的tensorflow模型的輸出
# this is our initial Keras modelmodel = Sequential()first_layer = Dense(32, activation='relu', input_dim=784)model.add(Dense(10, activation='softmax'))你只需要在實例化該模型后，使用set_input來修改首層的輸入，然后將剩下模型搭建于其上：
# this is our modified Keras modelmodel = Sequential()first_layer = Dense(32, activation='relu', input_dim=784)first_layer.set_input(my_input_tensor)# build the rest of the model as beforemodel.add(first_layer)model.add(Dense(10, activation='softmax'))在這個階段，你可以調用model.load_weights(weights_file)來加載預訓練的權重
然后，你或許會收集該模型的輸出張量：
output_tensor = model.outputKeras模型與Keras層的行為一致，因此可以被調用于TensorFlow張量上：
from keras.models import Sequentialmodel = Sequential()model.add(Dense(32, activation='relu', input_dim=784))model.add(Dense(10, activation='softmax'))# this works! x = tf.placeholder(tf.float32, shape=(None, 784))y = model(x)注意，調用模型時你同時使用了模型的結構與權重，當你在一個tensor上調用模型時，你就在該tensor上創(chuàng)造了一些操作，這些操作重用了已經(jīng)在模型中出現(xiàn)的TensorFlow變量的對象
TensorFlow的設備作用域完全與Keras的層和模型兼容，因此你可以使用它們來將一個圖的特定部分放在不同的GPU中訓練，這里是一個簡單的例子：
with tf.device('/gpu:0'): x = tf.placeholder(tf.float32, shape=(None, 20, 64)) y = LSTM(32)(x) # all ops in the LSTM layer will live on GPU:0with tf.device('/gpu:1'): x = tf.placeholder(tf.float32, shape=(None, 20, 64)) y = LSTM(32)(x) # all ops in the LSTM layer will live on GPU:1注意，由LSTM層創(chuàng)建的變量將不會生存在GPU上，不管TensorFlow變量在哪里創(chuàng)建，它們總是生存在CPU上，TensorFlow將隱含的處理設備之間的轉換
如果你想在多個GPU上訓練同一個模型的多個副本，并在多個副本中進行權重共享，首先你應該在一個設備作用域下實例化你的模型或層，然后在不同GPU設備的作用域下多次調用該模型實例，如：
with tf.device('/cpu:0'): x = tf.placeholder(tf.float32, shape=(None, 784)) # shared model living on CPU:0 # it won't actually be run during training; it acts as an op template # and as a repository for shared variables model = Sequential() model.add(Dense(32, activation='relu', input_dim=784)) model.add(Dense(10, activation='softmax'))# replica 0with tf.device('/gpu:0'): output_0 = model(x) # all ops in the replica will live on GPU:0# replica 1with tf.device('/gpu:1'): output_1 = model(x) # all ops in the replica will live on GPU:1# merge outputs on CPUwith tf.device('/cpu:0'): preds = 0.5 * (output_0 + output_1)# we only run the `preds` tensor, so that only the two# replicas on GPU get run (plus the merge op on CPU)output_value = sess.run([preds], feed_dict={x: data})通過注冊Keras會話到一個集群上，你可以簡單的實現(xiàn)分布式訓練：
server = tf.train.Server.create_local_server()sess = tf.Session(server.target)from keras import backend as KK.set_session(sess)關于TensorFlow進行分布式訓練的配置信息，請參考這里
TensorFlow-Serving是由Google開發(fā)的用于將TensoFlow模型部署于生產(chǎn)環(huán)境的工具
任何Keras模型都可以被TensorFlow-serving所導出（只要它只含有一個輸入和一個輸出，這是TF-serving的限制），不管它是否作為TensroFlow工作流的一部分。事實上你甚至可以使用Theano訓練你的Keras模型，然后將其切換到tensorflow后端，然后導出模型
如果你的graph使用了Keras的learning phase（在訓練和測試中行為不同），你首先要做的事就是在graph中硬編碼你的工作模式（設為0，即測試模式），該工作通過1）使用Keras的后端注冊一個learning phase常量，2）重新構建模型，來完成。
這里是實踐中的示范：
from keras import backend as KK.set_learning_phase(0) # all new operations will be in test mode from now on# serialize the model and get its weights, for quick re-buildingconfig = previous_model.get_config()weights = previous_model.get_weights()# re-build a model where the learning phase is now hard-coded to 0from keras.models import model_from_confignew_model = model_from_config(config)new_model.set_weights(weights)現(xiàn)在，我們可使用Tensorflow-serving來導出模型，按照官方教程的指導：
from tensorflow_serving.session_bundle import exporterexport_path = ... # where to save the exported graphexport_version = ... # version number (integer)saver = tf.train.Saver(sharded=True)model_exporter = exporter.Exporter(saver)signature = exporter.classification_signature(input_tensor=model.input, scores_tensor=model.output)model_exporter.init(sess.graph.as_graph_def(), default_graph_signature=signature)model_exporter.export(export_path, tf.constant(export_version), sess)如想看到包含本教程的新主題，請看我的Twitter
聯(lián)系客服
