기본으로 준비해야 할 것들
| JAVA openjdk version "1.8.0_352" wget ( sudo yum install -y wget) yum |
보통 이런 환경은 개인 PC보다 회사 PC에서 작성하고 그로인해 권한 문제 (허가 거부)문제가 발생할 수 있으니 되도록 sudo를 붙여주도록 한다.(아니면 폴더를 생성할때 미리
| sudo chown 사용자명:사용자그룹 폴더(파일)명 ex) sudo chown username:usergroup file(folder)name |
위의 명령어를 실행하여 권한을 사용자명으로 돌리면 된다.
| 1) sudo yum -y update |
| 2) sudo wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz 만일 본인이 원하는 버전이 없다면 https://archive.apache.org/dist/hadoop/core/ 에서 찾아보도록 한다.(~~~~.tar.gz의 링크를 sudo wget 이후에 붙여넣어주면된다. ~~~-src.tar.gz와 혼동하지 않도록 한다.) |
| 3) sudo tar -xzvf hadoop-2.7.7.tar.gz -C /opt #/opt 경로에 압축해제를 하는것이지 굳이 /opt 경로에 압축해제할 필요는 없고 본인이 원하는 폴더에 압축해제를 하도록 한다. 3-1) cd /opt mv hadoop-2.7.7/ hadoop #이름 바꾸기 |
| 4) JAVA_HOME 경로가 설정되었는지 확인하자 echo $JAVA_HOME ex) output : /usr/lib/jvm/jre-openjdk 4-1) 만약 설정되어 있지 않다면 설정해줘야 한다. sudo vi ~/.bash_profile i로 편집 모드 export JAVA_HOME=/usr/lib/jvm/jre-open-jdk 를 추가한다. :wq!로 저장한다. source ~/.bash_profile 를 실행한다. 다시 echo $JAVA_HOME을 실행하여 정상적으로 실행되는지 확인 후 java -version을 실행하여 정상적으로 버전이 출력되는지 확인한다. |
| 5) sudo vi /opt/hadoop/etc/hadoop/hadoop-env.sh 아래로 내려가다 보면 export JAVA_HOME=이 있을건데 그것을 아래로 변경한다. export JAVA_HOME=${JAVA_HOME} |
| 6) sudo vi ~/.bashrc 를 친다 아래에 아래와 같이 입력/추가 해준다 export JAVA_HOME=/usr/lib/jvm/jre-openjdk export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc sudo hadoop version을 쳣을때 버전이 나오는지 확인한다 요약 : $JAVA_HOME이고 sudo vi ~/.bash_profile에 들어가서 HADOOP_HOME이고 하는것은 그냥 자바의 특성이다, 쉽게 말하면 프로그램을 설치/실행할때의 재료들의 위치를 적어놓는것이다, 위치가 틀리다면 당연히 에러가 발생할것이고 위치는 맞지만 재료가 틀리다면(버전이 다르다면)에러가 뜨는것이다 (거의 대부분의 에러가 이런것들 때문에 발생한다) |
| 7) Test를 위한 xml 복제 sudo mkdir ~/source sudo cp /opt/hadoop/etc/hadoop/*.xml ~/source |
| 8) Test sudo hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep ~/source ~/output 'principal[.]*' |
| 9) 결과 확인 cat ~/output/* |
-명령어들만 모아 놓은곳 차례대로 실행하면 된다-
| sudo yum -y update sudo wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz sudo tar -xzvf hadoop-2.7.7.tar.gz -C /opt cd /opt sudo vi /opt/hadoop/etc/hadoop/hadoop-env.sh ㄴ export JAVA_HOME=${JAVA_HOME} ㄴ :wq! sudo vi ~/.bashrc ㄴ export JAVA_HOME=/usr/lib/jvm/jre-openjdk ㄴ export HADOOP_HOME=/opt/hadoop ㄴ export PATH=$PATH:$HADOOP_HOME/bin ㄴ :wq! source ~/.bashrc sudo hadoop version sudo mkdir ~/source sudo cp /opt/hadoop/etc/hadoop/*.xml ~/source sudo hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep ~/source ~/output 'principal[.]*' cat ~/output/* |
요약하면 이것이다
1) 하둡 폴더를 다운로드 받는다
2) 압축을 푼다
3) JAVA_HOME을 설정한다
4) HADOOP_HOME을 설정한다.
5) Hadoop/bin 폴더안에 있는 hadoop 명령어를 쓴다
6) 끝
728x90
반응형
