HDFSスナップショットを使用してハイブを復元できます -- hadoop フィールド と hive フィールド と snapshot フィールド 関連 問題

Can hdfs snapshot be used to restore hive












1
vote

問題

日本語

HIVEがHDFと共にメタストアを使用することを知っていることは、ランニングされたHadoop-HiveクラスターからのHDFSスナップショットを新しいHadoop-Hiveクラスターに復元することが可能ですか?

必須と思う1ステップは、テーブルをハイブで再度作成することですが、これらのテーブルはスナップショットファイルに自動的に配線されますか?

このトピック上の1つのリンクは Apache Mail Archives 。私はこれに新しいかより良い答えがあったかどうかを願っていました。

英語

Knowing that hive uses a metastore along with hdfs, is it feasible to restore a hdfs snapshot, taken from a running hadoop-hive cluster, to a new hadoop-hive cluster?

One step that I think would be mandatory is to create the tables again in hive, but would these tables be automatically wired to the snapshot files?

One link on this topic is at Apache Mail Archives. I was hoping if there was a newer or better answer to this.

</div
        

回答リスト

3
 
vote

Hiveは2(HDFSのメタデータ+ WarehouseData)

このような試してみる:(チェックされていない、注意してください)

1) dstcp

を使用して、現在のHadoop Hiveクラスタから新しいHadoop-Hiveクラスタへのハイブ倉庫データをコピーする <事前> <コード> $ hadoop distcp hftp://old-custer:50070/user/hive/warehouse hdfs://new-Cluster/user/hive/warehouse

2)メタデータがMySQLに格納されていると仮定して(デフォルトDerbyではなく)、新しいハイブをOld-Metadata MySQL Server(新しいクラスタのHive-Site.xml)にポイントします。これにより、スキーマ/テーブルをもう一度作成する必要はありません。

 

Hive works with 2 (metadata + warehousedata in hdfs)

Give a try like this : (haven't checked, please note)

1) Copy hive warehouse data from current Hadoop-hive Cluster to new Hadoop-hive Cluster using dstcp

$ hadoop distcp hftp://old-custer:50070/user/hive/warehouse hdfs://new-Cluster/user/hive/warehouse 

2) Assuming your metadata is stored in MySQL (not in default derby), Point your new hive to old-metadata mysql server (in hive-site.xml of new cluster). By this you no need to create the schemas/tables again.

</div
 
 
 
 

関連する質問

1  diffと新しい空のファイル  ( Diff and new empty files ) 
リポジトリのスナップショットを更新するために、Diff-Naurを使用して顧客に単一のパッチを送信しています。 git diff -pを使って単一のファイルパッチを取得しようとしましたが、どうやらパッチに新しいバイナリファイルは含まれません。 私はgit-f...

2  Xcodeスナップショットは作業には表示されません  ( Xcode snapshots dont appear to work ) 
この男と同じ問題を持つようなようです: xcode復元スナップショット 私は特定のことを試みる前にスナップショットを作成していて、1つを復元する必要がありました。 私は数日前に試してみました、そしてxcodeはコードの違いで私を述べています。 復元をクリ...

0  表示されていないUserControlのスナップショットを作成します  ( Create snapshot of a non shown usercontrol ) 
私はまだ表示されていない私のUserControlのスナップショットを取りたいです。 それが私のコードです: <事前> <コード> public Screenshot(MyViewModel viewModel) { if (v...

1  SSASは定期的なスナップショットです  ( Ssas is a periodic snapshot the right choice ) 
私はSSASへのニュービーです。契約の状況が時間とともに変化する合意テーブルを持つデータベースがあります。これは契約ログに保存されています。ステータスは長期間にわたる任意の組み合わせにすることができます。私が答える必要がある一連の質問は、特定のステータスの契約...

0  募集:アプリケーション構築/テストサーバーの可視化の例  ( Wanted an example of application built test server visualization ) 
現在、開発構築/テストボックスを盛り上がっています。ターゲットアプリケーションは主にPython / GCCで書かれており、Postgresを使用し、2つの同一のUSBデバイスが接続されています。 プリンシパルビルドOSEはRhel、FreeBSD&AMPです...

0  Grafanaスナップショットでフィールド名を表示する方法  ( How to show field names on grafana snapshot ) 
私はGrafanaに新しく、スナップショットをエクスポートしようとしていますが、$ {__ field.displayname}を表示するのではなく、フィールド名を表示したいです。これを行う方法はありますか? ありがとう! ...

4  Xcode 3からXcode 4スナップショットの移行  ( Xcode 3 to xcode 4 snapshot migration ) 
ねえ、誰かが新しくリリースされたXcode 4を更新しようとしたかどうかを尋ねたかったのです4. 私の問題は、Xcode 3(.2.5)で作成したすべてのスナップショットがXcode 4では使用できなくなることです。 .sparseimage を単にコピー...

0  FireBaseからデータを取得する方法  ( How to retrieve data from firebase ) 
FireBaseに保存されているすべてのオブジェクトを取得しようとしています。先に進む方法がわからない。以下は私のコードとsnap.valueが印刷されています。 DataSavedとURLの値と同様に、文字列 "cbc"と "cp24"を取得する必要があり...

1  Xcodeスナップショットの復元は失敗します。 "ファイルが存在する"  ( Xcode snapshot restore fails file exists ) 
今朝Xcode 4.3.2で作成されたスナップショットを復元する必要があります。 何らかの理由で、私は数日間gitを獲得していませんでした、そして私がやりたいのではないいくつかの重要な変更を加えました。ええ、私は知っています... だから私は「スナップショ...

0  同じ基部を持つ複数のESXi VMS  ( Multiple esxi vms with same base ) 
スペースを節約するために、同じベースを持つESXiに複数のVMを作成しようとしています。 例えば、Windows 2008とSQL 2008では、ベースVMを作成します。 次に、VM 1がソフトウェア-2をインストールするためにSoftware-1とVM 2を...




© 2022 cndgn.com All Rights Reserved. Q&Aハウス 全著作権所有