[Hadoop] Sqoop

本文記錄sqoop test

用sqoop进行mysql和hdfs系统间的数据互导

[Hadoop] WordCount Sample

記錄一下第一次跑Hadoop WordCount Job的過程 :)

1. 建立HDFS資料夾

#全部的資料夾會自動建立

hduser@hadoop-master:/usr/local/hadoop$hadoop dfs -mkdir /home/hduser/wordcount

2. 匯入要分析的文件資料(local-dir)到HDFS資料夾

$hadoop dfs -copyFromLocal

#匯入

hduser@hadoop-master:/usr/local/hadoop$hadoop dfs -copyFromLocal /home/hduser/wordcount /home/hduser/wordcount

#查看匯入的資料

hduser@hadoop-master:/usr/local/hadoop$ hadoop dfs -ls /home/hduser/wordcount
Warning: $HADOOP_HOME is deprecated.

[Hadoop] WordCount

在寫Hadoop job的時候，如果你有分package的話，
匯出.jar的時候請記得選取Main Class進入點，如下所示

然後再執行job的時候就不會說找不到了

hadoop@client:~/wordcount$ hadoop jar exercise.wordco.jar WordCo /user/hadoop/wordcount/pg5000.txt /user/hadoop/wordcount/output