hadoop (10) 썸네일형 리스트형 10. 맵리듀스를 java 로 수행하기 ■10. 멥리듀스를 jave 로 수행하기 1. hadoop 홈디렉토리에 자바 실행 파일인 jar 파일의 위치가 어디인지 설정하는 환경설정을 한다. 2. 하둡 홈디렉토리 밑에 labs 라는 디렉토리를 만들고 거기에 SingleFileWriteRead.java 파일을 생성한다. ↓ "텍스트 파일 한개를 하둡 파일 시스템에 올리는 자바 코드" 3. 두 개의 텍스트 파일을 하나로 합쳐서 하둡 파일 시스템에 올리기 위해 PutMerge.java 라는 파일을 생성한다 4. 자바로 WordCount 를 수행한다 ↓ 겨울왕국 대본의 단어와 단어의 갯수를 출력한다 SQL------> regexpress_count 함수로 수행 파이썬-> count, len 리눅스-> wc 하둡---> java 코드로 수행 R-------.. 9. sqoop 설치 , sqoop 으로 오라클, hive 연동 ■9. sqoop 으로 오라클과 hive 연동 ■ sqoop 설치 스쿱? "오라클과 hive와의 데이터 연동" 오라클의 emp 테이블을 hive 로 바로 로드 할 수 있다. 오라클 -----------------------------------> hive emp * 스쿱 설치 과정 1. 스쿱설치 파일을 올린다. sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz 2. 스쿱설치 파일의 압축을 푼다. # cd /media/sf_Share # cp sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz /home/oracle/ # chown -R oracle:oinstall sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz # su - oracle $ tar xvzf .. 8. mySQL 설치, 설명 ■8. mySQL -> centos 에서 수행 ip 102 root oracle880401 https://www.digitalocean.com/community/tutorials/how-to-install-mysql-on-centos-7 이거보면서 mySQL 설치 root 계정 접속한 사람은 sudo 빼고 코드 복붙 임시비번 : =E5;VTrYWPh( 새비번: 쓰더 mysql -u root -p (접속하는 거 ! ) 접속 안된 사람, 접속 성공한 사람들도 https://dev.mysql.com/downloads/file/?id=480542 링크 타고 들어가서 Windows (x86, 64 비트), MSI 설치 프로그램 저장해두시오 mysql> status -------------- mysql Ver 14.. 7. mongo db 설치, 설명 ■ 7. mongo db ->우분투 os 에서 수행 리눅스설치파일->우분투페도라->ios파일 우분투를 저장소로 지정 ip addr 터미널창 키면 3번째 단락에 아이피주소 뜨는데 기억해둘 것 new terminal sudo apt-get install ssh password: oracle Y ip addr inet 주소 입력 (brd 빼고) putty 키고 위 아이피주소 입력하고 접속 (102 였음) ■ Mongo DB 설치 (우분투 os) 1.설치 참고 블로그 https://www.digitalocean.com/community/tutorials/how-to-install-mongodb-on-ubuntu-16-04 2. 우분투 다운로드 사이트 https://www.mongodb.com/download-c.. 6. PIG설치, 설명 ■6. pig 1. 야후에서 만든 Nosql (야후에서는 40% 이상의 JOB을 pig 로 처리한다) 2. "돼지들은 어떠한 것도 잘 먹는다" 라는 슬로건을 갖는다. 어떠한 데이터든 잘 소화할 수 있다. 3. 사용자 정의함수 (오라클의 프로시져와 같은 언어)를 지원한다 (SQL + 프로그래밍 언어) ↓ 엑셀의 매크로와 같은 기능 ■ pig 설치 1. pig 설치 파일을 /home/oracle/ 밑에 올린다. pig-0.12.0.tar.gz 2. pig 설치 파일의 압축을 푼다 $ tar xvf pig-0.12.0.tar.gz 3. pig 환경설정을 한다. $ mv pig-0.12.0 pig #(압축푼거 저장) $cd pig $cd conf $vi pig.properties 아래 두 줄을 맨 하단에 저장 .. 5. TAJO설치, 설명 ■ 5. 타조 ■ Tajo 설치 방법 ■/media/sf_Share 받은파일 저장하고 root 에서 oracle 로 복사시키고 오라클에 들어가서 권한 바꾸고 oracle:oinstall 거기서 압축해제 압축 해제 tar -xvzf tajo-0.11.1.tar.gz ■ tajo 디렉토리가 생겼는지 확인한다. $ ls -ld tajo* tajo 홈디렉토리의 이름을 tajo 로 변경한다. $ mv tajo-0.11.1-desktop-r1 tajo 아래와 같이 따란↓ drwxr-xr-x 10 oracle oinstall 4096 Mar 2 2016 tajo cd tajo ls -l (그럼 tajo 또 있음) cd tajo ls -ld bin (그렇게 bin 있는 걸 확인) [orcl:tajo]$ sh bin/c.. 4. HIVE ■ 4. HIVE $ cd .bash_profile 열고 맨 아래에 export HIVE_HOME=/home/oracle/hive-0.12.0 export PATH=$HIVE_HOME/bin:$PATH 추가하면 $ cd /home/oracle/hive-0.12.0/bin $ ./hive 이렇게 접속했던 hive 를 [orcl:~]$ . .bash_profile [orcl:~]$ hive 문제9. hive 로 접속해서 dept 테이블을 생성하시오 hive> load data inpath '/user/oracle/dept2.csv' overwrite into table dept; hive> select * from dept; 문제10. dept2.csv , emp2.csv 로드하시오 select * from.. 3. 하둡 분산 파일 ■ 3. 하둡 분산 파일 시스템 명령어 ■ 접속방식 변경 $ cd /home/oracle/hive-0.12.0/bin $ ./hive 이렇게 접속했던 hive 를 [orcl:~]$ . .bash_profile [orcl:~]$ hive 현재 디렉토리 뿐만 아니라 하위 디렉토리까지 조회 3. du -> 파일의 용량 확인 4. dus -> 파일의 전체 합계 용량 확인 5. cat -> 지정된 파일의 내용을 화면에 출력 6. text -> zip 파일 형태도 text 형대로 화면에 출력 (리눅스의 cat 과 같음, cat 으로 써도 됨) 7. mkdir -> 디렉토리 생성 8. put -> 파일을 하둡 파일 시스템에 올리는 명령어 9. copyFromLocal -> 파일 복사 10. get -> 하둡 파일 시.. 이전 1 2 다음