keras訓練
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
fit( self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None) |
1. x：輸入數(shù)據(jù)。如果模型只有一個輸入，那么x的類型是numpy array，如果模型有多個輸入，那么x的類型應(yīng)當為list，list的元素是對應(yīng)于各個輸入的numpy array。如果模型的每個輸入都有名字，則可以傳入一個字典，將輸入名與其輸入數(shù)據(jù)對應(yīng)起來。
2. y：標簽，numpy array。如果模型有多個輸出，可以傳入一個numpy array的list。如果模型的輸出擁有名字，則可以傳入一個字典，將輸出名與其標簽對應(yīng)起來。
3. batch_size：整數(shù)，指定進行梯度下降時每個batch包含的樣本數(shù)。訓練時一個batch的樣本會被計算一次梯度下降，使目標函數(shù)優(yōu)化一步。
4. nb_epoch：整數(shù)，訓練的輪數(shù)，訓練數(shù)據(jù)將會被遍歷nb_epoch次。Keras中nb開頭的變量均為"number of"的意思
5. verbose：日志顯示，0為不在標準輸出流輸出日志信息，1為輸出進度條記錄，2為每個epoch輸出一行記錄
6. callbacks：list，其中的元素是keras.callbacks.Callback的對象。這個list中的回調(diào)函數(shù)將會在訓練過程中的適當時機被調(diào)用，參考回調(diào)函數(shù)
7. validation_split：0~1之間的浮點數(shù)，用來指定訓練集的一定比例數(shù)據(jù)作為驗證集。驗證集將不參與訓練，并在每個epoch結(jié)束后測試的模型的指標，如損失函數(shù)、精確度等。
8. validation_data：形式為（X，y）或（X，y，sample_weights）的tuple，是指定的驗證集。此參數(shù)將覆蓋validation_spilt。
9. shuffle：布爾值，表示是否在訓練過程中每個epoch前隨機打亂輸入樣本的順序。
10. class_weight：字典，將不同的類別映射為不同的權(quán)值，該參數(shù)用來在訓練過程中調(diào)整損失函數(shù)（只能用于訓練）。該參數(shù)在處理非平衡的訓練數(shù)據(jù)（某些類的訓練樣本數(shù)很少）時，可以使得損失函數(shù)對樣本數(shù)不足的數(shù)據(jù)更加關(guān)注。
11. sample_weight：權(quán)值的numpy array，用于在訓練時調(diào)整損失函數(shù)（僅用于訓練）?？梢詡鬟f一個1D的與樣本等長的向量用于對樣本進行1對1的加權(quán)，或者在面對時序數(shù)據(jù)時，傳遞一個的形式為（samples，sequence_length）的矩陣來為每個時間步上的樣本賦不同的權(quán)。這種情況下請確定在編譯模型時添加了sample_weight_mode='temporal'。
fit函數(shù)返回一個History的對象，其History.history屬性記錄了損失函數(shù)和其他指標的數(shù)值隨epoch變化的情況，如果有驗證集的話，也包含了驗證集的這些指標變化情況。
保存模型結(jié)構(gòu)、訓練出來的權(quán)重、及優(yōu)化器狀態(tài)
keras 的 callback參數(shù)可以幫助我們實現(xiàn)在訓練過程中的適當時機被調(diào)用。實現(xiàn)實時保存訓練模型以及訓練參數(shù)。
|
1
2
3
4
5
6
7
8
9
|
keras.callbacks.ModelCheckpoint( filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1) |
1. filename：字符串，保存模型的路徑
2. monitor：需要監(jiān)視的值
3. verbose：信息展示模式，0或1
4. save_best_only：當設(shè)置為True時，將只保存在驗證集上性能最好的模型
5. mode：‘auto'，‘min'，‘max'之一，在save_best_only=True時決定性能最佳模型的評判準則，例如，當監(jiān)測值為val_acc時，模式應(yīng)為max，當檢測值為val_loss時，模式應(yīng)為min。在auto模式下，評價準則由被監(jiān)測值的名字自動推斷。
6. save_weights_only：若設(shè)置為True，則只保存模型權(quán)重，否則將保存整個模型（包括模型結(jié)構(gòu)，配置信息等）
7. period：CheckPoint之間的間隔的epoch數(shù)
當驗證損失不再繼續(xù)降低時，如何中斷訓練？當監(jiān)測值不再改善時中止訓練
用EarlyStopping回調(diào)函數(shù)
|
1
2
3
4
5
6
7
8
|
from keras.callbacksimport EarlyStopping keras.callbacks.EarlyStopping( monitor='val_loss', patience=0, verbose=0, mode='auto') |
model.fit(X, y, validation_split=0.2, callbacks=[early_stopping])
1. monitor：需要監(jiān)視的量
2. patience：當early stop被激活（如發(fā)現(xiàn)loss相比上一個epoch訓練沒有下降），則經(jīng)過patience個epoch后停止訓練。
3. verbose：信息展示模式
4. mode：‘auto'，‘min'，‘max'之一，在min模式下，如果檢測值停止下降則中止訓練。在max模式下，當檢測值不再上升則停止訓練。
學習率動態(tài)調(diào)整1
keras.callbacks.LearningRateScheduler(schedule)
schedule：函數(shù)，該函數(shù)以epoch號為參數(shù)（從0算起的整數(shù)），返回一個新學習率（浮點數(shù)）
也可以讓keras自動調(diào)整學習率
|
1
2
3
4
5
6
7
8
9
10
|
keras.callbacks.ReduceLROnPlateau( monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0) |
1. monitor：被監(jiān)測的量
2. factor：每次減少學習率的因子，學習率將以lr = lr*factor的形式被減少
3. patience：當patience個epoch過去而模型性能不提升時，學習率減少的動作會被觸發(fā)
4. mode：‘auto'，‘min'，‘max'之一，在min模式下，如果檢測值觸發(fā)學習率減少。在max模式下，當檢測值不再上升則觸發(fā)學習率減少。
5. epsilon：閾值，用來確定是否進入檢測值的“平原區(qū)”
6. cooldown：學習率減少后，會經(jīng)過cooldown個epoch才重新進行正常操作
7. min_lr：學習率的下限
當學習停滯時，減少2倍或10倍的學習率常常能獲得較好的效果
學習率動態(tài)2
|
1
2
3
4
5
6
7
8
9
|
def step_decay(epoch): initial_lrate = 0.01 drop = 0.5 epochs_drop = 10.0 lrate = initial_lrate * math.pow(drop,math.floor((1+epoch)/epochs_drop)) return lratelrate = LearningRateScheduler(step_decay)sgd = SGD(lr=0.0, momentum=0.9, decay=0.0, nesterov=False)model.fit(train_set_x, train_set_y, validation_split=0.1, nb_epoch=200, batch_size=256, callbacks=[lrate]) |
如何記錄每一次epoch的訓練/驗證損失/準確度？
Model.fit函數(shù)會返回一個 History 回調(diào)，該回調(diào)有一個屬性history包含一個封裝有連續(xù)損失/準確的lists。代碼如下：
hist = model.fit(X, y,validation_split=0.2)
print(hist.history)
Keras輸出的loss，val這些值如何保存到文本中去
Keras中的fit函數(shù)會返回一個History對象，它的History.history屬性會把之前的那些值全保存在里面，如果有驗證集的話，也包含了驗證集的這些指標變化情況，具體寫法
|
1
2
3
|
hist=model.fit(train_set_x,train_set_y,batch_size=256,shuffle=True,nb_epoch=nb_epoch,validation_split=0.1)with open('log_sgd_big_32.txt','w') as f: f.write(str(hist.history)) |
示例，多個回調(diào)函數(shù)用逗號隔開
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
# checkpointcheckpointer = ModelCheckpoint(filepath="./checkpoint.hdf5", verbose=1)# learning rate adjust dynamiclrate = ReduceLROnPlateau(min_lr=0.00001)answer.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])# Note: you could use a Graph model to avoid repeat the input twiceanswer.fit( [inputs_train, queries_train, inputs_train], answers_train, batch_size=32, nb_epoch=5000, validation_data=([inputs_test, queries_test, inputs_test], answers_test), callbacks=[checkpointer, lrate]) |
keras回調(diào)函數(shù)中的Tensorboard
|
1
2
3
4
5
6
7
|
keras.callbacks.TensorBoard(log_dir='./Graph', histogram_freq=0, write_graph=True, write_images=True)tbCallBack = keras.callbacks.TensorBoard(log_dir='./Graph', histogram_freq=0, write_graph=True, write_images=True)...model.fit(...inputs and parameters..., callbacks=[tbCallBack])tensorboard --logdir path_to_current_dir/Graph |
或者
|
1
2
3
4
5
6
7
8
9
10
11
|
from keras.callbacks import TensorBoardtensorboard = TensorBoard(log_dir='./logs', histogram_freq=0, write_graph=True, write_images=False)# define modelmodel.fit(X_train, Y_train, batch_size=batch_size, epochs=nb_epoch, validation_data=(X_test, Y_test), shuffle=True, callbacks=[tensorboard]) |
補充知識：Keras中的回調(diào)函數(shù)（callback）的使用與介紹
以前我在訓練的時候，都是直接設(shè)定一個比較大的epoch，跑完所有的epoch之后再根據(jù)數(shù)據(jù)去調(diào)整模型與參數(shù)。這樣做會比較耗時，例如說訓練在某一個epoch開始已經(jīng)過擬合了，后面繼續(xù)訓練意義就不大了。
在書上看到的callback函數(shù)很好的解決了這個問題，它能夠監(jiān)測訓練過程中的loss或者acc這些指標，一旦觀察到損失不再改善之后，就可以中止訓練，節(jié)省時間。下面記錄一下
介紹：
（選自《python深度學習》）
回調(diào)函數(shù)（callback）是在調(diào)用fit時傳入模型的一個對象，它在訓練過程中的不同時間點都會被模型調(diào)用。它可以訪問關(guān)于模型狀態(tài)與性能的所有可用數(shù)據(jù)，還可以采取行動：中斷訓練、保存模型、加載一組不同的權(quán)重或改變模型的狀態(tài)。
部分回調(diào)函數(shù)：
1.ModelCheckpoint與EarlyStopping
監(jiān)控目標若在指定輪數(shù)內(nèi)不再改善，可利用EarlyStopping來中斷訓練。
可配合ModelCheckpoint使用，該回調(diào)函數(shù)可不斷地保存模型，亦可以只保存某一epoch最佳性能模型
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
import kerascallbacks_list=[ keras.callbacks.EarlyStopping( monitor='acc',#監(jiān)控精度 patience=5,#5輪內(nèi)不改善就中止), keras.callbacks.ModelCheckpoint( filepath='C:/apple/my_model.h5',#模型保存路徑 monitor='val_loss',#檢測驗證集損失值 save_best_only=True#是否只保存最佳模型 )]model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])model.fit(x,y, epochs=10, batch_size=32, callbacks=callbacks_list,#在這里放入callback函數(shù) validation_data=(x_val,y_val) ) |
2.ReduceLROnPlateau回調(diào)函數(shù)
如果驗證損失不再改善，可以使用該回調(diào)函數(shù)來降低學習率。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
import keras callbacks_list=[ keras.callbacks.ReduceLROnPlateau( monitor='val_loss',#監(jiān)控精度 patienece=5, # 5輪內(nèi)不改善就改變 factor=0.1#學習率變?yōu)樵瓉淼?.1)]model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])model.fit(x,y, epochs=10, batch_size=32, callbacks=callbacks_list,#在這里放入callback函數(shù) validation_data=(x_val,y_val) ) |
以上這篇基于keras中的回調(diào)函數(shù)用法說明就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持服務(wù)器之家。
原文鏈接：https://blog.csdn.net/jiandanjinxin/article/details/77097910
