久久免费精品国产-国产婷婷色一区二区三区在线-91在线一区,亚洲乱码一区av黑人高潮,精品久久久久免费极品大片,久久一级精品视频

跳轉(zhuǎn)到主要內(nèi)容

Hive數(shù)據(jù)跨HDFS集群遷移

故障描述

  客戶存算分離,將Hive數(shù)據(jù)從本地HDFS遷移到EMC A300 HDFS存儲。

故障分析

  無

處理過程

1、前期預(yù)遷移hdfs文件:hadoop distcp -pugpt -update -skipcrccheck  -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive

2、停止hive服務(wù),增量遷移hadoop distcp -pugpt -update -skipcrccheck  -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive

3、Mysql導(dǎo)出元數(shù)據(jù)表:mysqldump -hlocalhost -uhive -p --databases hive > hive_bk.sql

4、替換hive_bk.sql文件中間的路徑關(guān)鍵字:sed -i 's/master-1/A300.corem.local/g' hive_bk.sql

5、在Mysql里成導(dǎo)入hive_bk.sql:

mysql -hlocalhost -uhive –p

mysql> source hive_bk.sql

6、啟動hive服務(wù),檢查狀態(tài),通過show database,select等檢查表狀態(tài)。

 

建議/總結(jié)

  1.HDFS文件部分,需多次同步更新,最終停止業(yè)務(wù)后再同步一次即可。

        2.元數(shù)據(jù)表里保存了表的保存路徑。需替換相應(yīng)數(shù)據(jù)。確保更新后路徑一致。