Tensorflowで特定の重みを訓練するのをやめる方法 -- python-3.x フィールド と tensorflow フィールド と deep-learning フィールド 関連 問題

How to stop training some specific weights in TensorFlow












0
vote

問題

日本語

私はただTensorflowを学び始めています、そして私はそれに問題があります。トレーニングループ私は小さい重みを無視し、それらを訓練するのをやめたいです。私はこれらの小さい重みをゼロに割り当てました。 TF APIを検索し、 tf.Variable(weight,trainable=False) が重量の訓練を停止できるようにします。重みの値がゼロに等しい場合は、この関数を使用します。私は .eval() を使おうとしましたが、例外valueerrorが発生しました( " 9988777669 :noデフォルトなし)。変数の値を取得する方法はわかりません。トレーニングループで。もう1つの方法は、 namespace AzureTest { public class Azure { private static CloudStorageAccount storageAccount = CloudStorageAccount.Parse("XXXXXXX"); public async Task Get(string partition, string key) { CloudTableClient tableClient = storageAccount.CreateCloudTableClient(); CloudTable table = tableClient.GetTableReference("AzureTable"); TableOperation getOperation = TableOperation.Retrieve<TableItem>(partition, key); await table.ExecuteAsync(getOperation); } } public class TableItem : TableEntity { public string ClientCode { get; set; } public string Json { get; set; } public string Status { get; set; } } } 0 を変更することですが、それを行う方法がわかりません。誰かがまだこのコードを実装しました。前もってありがとうございます!

英語

I'm just beginning to learn TensorFlow and I have some problems with it.In training loop I want to ignore the small weights and stop training them. I've assigned these small weights to zero. I searched the tf API and found tf.Variable(weight,trainable=False) can stop training the weight. If the value of the weight is equal to zero I will use this function. I tried to use .eval() but there occurred an exception ValueError("Cannot evaluate tensor using eval(): No default ". I have no idea how to get the value of the variable when in training loop. Another way is to modify the tf.train.GradientDescentOptimizer(), but I don't know how to do it. Has anyone implemented this code yet or any other methods suggested? Thanks in advance!

</div
        

回答リスト

0
 
vote

あなたは重みに正則化を適用しようとしていますか?

それを達成するために使用できるAPIに apply_regularization メソッドがあります。

L1の正規化を正確に追加する方法Tensorflowエラー機能

 

Are you looking to apply regularization to the weights?

There is an apply_regularization method in the API that you can use to accomplish that.

See: How to exactly add L1 regularisation to tensorflow error function

</div
 
 
 
 
0
 
vote

私はいくつかの変数の訓練を停止するためのユースケースはわかりません、おそらくあなたがするべきものではありません。

とにかく、 tf.Variable() を呼び出すことは、グラフが定義されているときに一度だけ呼び出されるため、あなたを助けることはできません。最初の引数は initial_value です。名前が示唆しているので、初期化中にのみ割り当てられます。

代わりに、 tf.assign を次のように使用できます。 Plain <事前> <コード> with tf.Session() as session: assign_op = var.assign(0) session.run(assign_op)

セッション中に変数を更新します。これはあなたが求めているものです。

 

I don't know any use-case for stopping training of some variables, probably it's not what you should do.

Anyway, calling tf.Variable() (if I got you right) is not going to help you, because it's called just once when the graph is defined. The first argument is initial_value: as the name suggests, it's assigned only during initialization.

Instead, you can use tf.assign like this:

with tf.Session() as session:   assign_op = var.assign(0)   session.run(assign_op) 

It will update the variable during the session, which is what you're asking for.

</div
 
 

関連する質問

0  カフェのバッチノーム層の設定?  ( Setting for batchnorm layer in caffe ) 
ウェブサイト。 <コード> use_global_stats: false は、検証と展開のための use_global_stats: true の を見つけました。ただし、展開時に use_global_stats: true を使用した場合、結果は非常に...

0  ValueErrorのログとラベルは同じ形状(?、10)VS(2,2、?、10)を持つ必要があります。  ( Valueerror logits and labels must have the same shape 10 vs 2 2 10 ) 
2つのLSTMセルを使用して単純なニューラルネットワークを更新したい。 古いアーキテクチャ(それが機能しました):入力=&gt; rnn =&gt。出力 新しいアーキテクチャ(値エラー付き):入力=&gt; LSTM =&gt; LSTM =&gt;出力 <...

3  AttributeError:Module 'TensorFlow'には、Tensorflowで属性 'get_default_graph'がありません  ( Attributeerror module tensorflow has no attribute get default graph in tens ) 
コードに次のエラーが発生しました。 <事前> <コード> import mtcnn # print version print(mtcnn.__version__) # demonstrate face detection on 5 Celebrity Fa...

2  PYTORCHを使用して転送学習[RESNET18]。データセット:犬の品種識別  ( Transfer learning resnet18 using pytorch dataset dog breed identification ) 
私はPYTORCHで転送学習アプローチを実装しようとしています。これは私が使っているデータセットです:犬種 これは私が続くステップです。 <事前> <コード> 1. Load the data and read csv using pandas. 2. Res...

20  ニューラルネットワークのレイヤー数とノードの数を決定する方法  ( How to determine the number of layers and nodes of a neural network ) 
現在、387の機能と3000サンプルのデータセットのNNを構築しています。出力は3つのクラスです。ネットワーク構造を次のように構成しました。 input-&gt; 200 - gt; {300-&gt; 100} - &gt; 50}出力 正しい数...

0  DataLoaderでのPytorchスローロード速度  ( Pytorch slow loading speed on dataloader ) 
このコードを試しています。 https://github.com/dannynis/ XVector_Pytorch / BLOB /マスター/ XVector%20-%20GPU.IPYNB このコードでは、私はこれに変更されました: <事前> <コー...

-1  なぜ私のAutoEncoderは縮小表現を与えないのですか?  ( Why my autoencoder doesnt give the reduced representation ) 
私は私のデータの縮小表現を作成しようとしています。私は別のモデルで使います、そして私は次のように進みます: <事前> <コード> input = Input(shape=(70,)) encoded = Dense(output_dim=10, i...

0  Tensorを形状に割り当てる際のOOM [1,48,48,1024]とタイプFLOAT:LOCALHOST / REPLICA:0 /タスク:0 /デバイス:GPU:0 Allocator GPU_0_BFC  ( Oom when allocating tensor with shape1 48 48 1024 and type float on joblocal ) 
次のリポジトリのマスクRCNNのトレーニングを再現しようとしています。 HTTPS: //github.com/maxkferg/metal-defect-detection 列車のコードスニペットは次のとおりです。 <事前> <コード> ...

0  Keras:すべての画像を単一のディレクトリに保存します  ( Keras keep all images in a single directory ) 
私は単一のディレクトリに保存されている多くの画像(各クラスのサブフォルダはありません)で作業し、Pandas DataFrameを使用してクラスラベルを追跡します。画像の量はメモリに収まりませんので、ディスクからミニバッチを読む必要があります。これまでのところ...

0  深部学習モデルの損失関数における入力データ  ( Input data in the loss function of a deep learning model ) 
私は私のカスタムロス関数でいくつかの入力データを使っているTensorflowを使用してRNNを訓練しています。 私は私のカスタムロスで私のカスタムロスで使用したい入力データを目標値に添付していますので、それをシャッフルしたときにそれがシャッフルされると、ou...




© 2022 cndgn.com All Rights Reserved. Q&Aハウス 全著作権所有