|| ---------------------------------------------------------------------------------------------------------- || || --- --- || || --- --- || || --- Conjunto de passos para execução da aplicação de WC em Cluster (Ex. GradeP) --- || || --- (GradeP - GPPD) --- || || --- --- || || --- --- || || ---------------------------------------------------------------------------------------------------------- || [1] Copiar a aplicação WC (JAVA) disponível no site da ERAD 2015 (Aba dos minicursos) [2] Copiar um volume de dados (TXT) disponível para serem contados Exemplo: http://www.gutenberg.org/cache/epub/100/pg100.txt [3] Considerando que o Hadoop já esteja rodando, criar um diretório (BOOK) e escrever os dados (pg100.txt) no HDFS hadoop dfs -mkdir BOOK hadoop dfs -copyFromLocal /state/partition1/hadoop/pg100.txt BOOK [4] Compilar o código fonte Java (Geração do JAR) mkdir tmp javac -classpath /hadoop/hadoop-core-1.2.1.jar -d tmp WordCount.java jar -cvf wordcount.jar -C tmp . rm -Rf tmp [5] Execução do algoritmo WC no Hadoop hadoop jar wordcount.jar org.myorg.WordCount BOOK output [6] Leitura dos dados contados hadoop dfs -cat /user/erad2015/output/part-00000 || ---------------------------------------------------------------------------------------------------------- || || --- --- || || --- --- || || --- Conjunto de passos para execução da aplicação de WC em Cloud (Ex. Azure) --- || || --- (Microsoft - Azure IaaS erad2015hadoop) --- || || --- --- || || --- --- || || ---------------------------------------------------------------------------------------------------------- || [1] Copiar a aplicação WC (JAVA) disponível no site da ERAD 2015 (Aba dos minicursos) [2] Copiar um volume de dados (TXT) disponível para serem contados Exemplo: http://www.gutenberg.org/cache/epub/100/pg100.txt [3] Considerando que o Hadoop já esteja rodando, criar um diretório (BOOK) e escrever os dados (pg100.txt) no HDFS hadoop dfs -mkdir BOOK hadoop dfs -copyFromLocal /home/erad2015/pg100.txt BOOK [4] Compilar o código fonte Java (Geração do JAR) mkdir tmp javac -classpath /hadoop/hadoop-core-1.2.1.jar -d tmp WordCount.java jar -cvf wordcount.jar -C tmp . rm -Rf tmp [5] Execução do algoritmo WC no Hadoop hadoop jar wordcount.jar org.myorg.WordCount BOOK output [6] Leitura dos dados contados hadoop dfs -cat /user/erad2015/output/part-00000