CLASSPATH JARをメインジャーで渡すためにComposer DataFlow演算子を使用する -- java フィールド と google-cloud-dataflow フィールド と google-cloud-composer フィールド 関連 問題

Using Composer Dataflow operator to pass classpath jar with main jar












0
vote

問題

日本語


> Composer Dataflow演算子を使用してDataFlowジョブを開きたいです。 My Dataflow Jarには、Maven依存関係として追加できない2つの追加のJARが必要です。 現在、以下のコマンドでジョブを手動で実行しています。

java -cp mainprocess.jar com.sample.class com.auth.dependency --tmp - ステージング

クラウドシェルでこれを実行しているとき、私はPWDで依存jarを持っています。 DataFlow演算子を使用して他のクラスパスJARを渡すことは可能ですか?

英語


I want to orchestrate a dataflow job using composer dataflow Operator. My dataflow jar needs two additional jar which cannot be added as maven dependency. Currently, I am running my job manually with below command:

java -cp Mainprocess.jar com.sample.class com.auth.dependency --tmp --staging

When I am running this in cloud shell I have dependency jar in PWD. Is it possible to pass the other classpath jars with Dataflow Operator?

</div
        

回答リスト

1
 
vote

デフォルトでは、DataFlowはクラスパス内のすべてのファイルを段階的に延びています。

fileStageAge Pipelineオプションと手動でステージングする必要があるjarのセットを指定します。

 

By default Dataflow stages all files in the CLASSPATH.

You can override this by specifying the filesToStage pipeline option and manually specifying the set of jars that should be staged.

</div
 
 
 
 

関連する質問

1  ADD_DONE_CALLBACK()およびReponse.Metadata()を使用する  ( Using add done callback and reponse metadata for automl ) 
AutomLの標準例を使用しようとしています。 CREATE_MODELは、実行された後に操作応答を更新し、メタデータにアクセスしてから(新しく訓練されたモデルのmodel_idを取得するため)にアクセスします。しかし、 "TypeError: 'Opera...

0  クラウド作曲家不安定なUI  ( Cloud composer unstable ui ) 
ランダムに表示されなくなり、503 Googleエラーメッセージが表示されます。それは気流UIをナビゲートするのが本当に難しくて迷惑になります。これは既知の問題ですか?これを長い間検索した後、インターネット上で私はリードを受けませんでした。 私が何か悪いこと...

11  Google Cloud Composer Webサーバでクリック可能ではありませんが、ローカルエアフローでうまく機能します。  ( Dags not clickable on google cloud composer webserver but working fine on a loc ) 
> Google Cloud Composer (Google Cloud Platformの管理対象空気流量)を使用しています。コード> composer-0.5.3-airflow-1.9.0 とPython 2.7、そして私は奇妙な問題に直面しています...

3  Pythonを使用してGoogle Data Prep APIの使用方法  ( How to use google data prep api using python ) 
Googleはちょうど新しいAPIを起動しました。リンクは この場合は、 example.com を使用し、<コード> port 3005 を使用しているため、ホストとは何ですか。 私はまた後に続いていますこの記事。しかし、これは例示的なコードを提供し...

0  Google Cloud Composerの問題を使用してCSVを読み、GCPバケットにロードする  ( Read csv and load into gcp bucket using google cloud composer issue ) 
GCPバケットからCSVを読み、同じバケツに書き込もうとすると、奇妙な問題が発生しました。 以下のコードは、以前に私のために働くために使用されていましたが、を言っているエアフローログでスローされることに注意してください。 <事前> <コード> {models...

1  App EngineアプリケーションからGoogle Cloud ComposerメタデータDB(Airflow Metadata DB - Cloud SQL)への接続方法  ( How to connect to google cloud composer metadata db airflow metadata db cloud ) 
フラスコPython 3.7 に書かれたApp Engineアプリケーションを持っています 私のUSECASEは、ComposerメタデータDB(DAG実行、DAG成功、DAG失敗など)からの情報を、ComposerメタデータDBからの情報を取得し、App E...

2  modulenotfounderror: 'Airflow'という名前のモジュールなし  ( Modulenotfounderror no module named airflow ) 
データフローランナーを使用してPythonビームジョブを実行するために、Airflow Pythonoperator を使用しています。 データフロージョブは、エラー<コード> "ModuleNotFoundError: No module named 'a...

-1  Apache AirflowのGolangクライアントライブラリのサポート  ( Golang client library support for apache airflow ) 
私は本質的にApache Airflow環境を提供するGoogle Cloud Composerを使用しています。私のアプリケーションはGolangで書かれているので、私はCloud Composer Airflow環境でDAGを作成して実行するためのGola...

0  Cloud ComposerのDAGトリガーでのクエリ  ( Query on dag triggers in cloud composer ) 
Google Cloud Composerを使用してBigQuery用のスケジューリングとETLジョブを簡単に要求しています。私は3つのステージングテーブル(GCSバケット内のファイルから入力されています)と1つのベーステーブル(3つのステージングテーブルを...

0  Terraformを使用したGCP Composerのヘルスチェックエラーで失敗する  ( Fails with health check error in gcp composer using terraform ) 
Terraformを使用してGCPでクラウドコンポーザを作成しようとしていました。 TerraformバージョンTerraform V0.12.5を使用していました。しかし、私はTerraformを使ってインスタンスを起動できません。 次のエラーを獲得して...




© 2022 cndgn.com All Rights Reserved. Q&Aハウス 全著作権所有