3. 하둡 분산 파일

■ 3. 하둡 분산 파일 시스템 명령어

 

■ 접속방식 변경

$ cd /home/oracle/hive-0.12.0/bin

$ ./hive

 

이렇게 접속했던 hive 를

 

[orcl:~]$ . .bash_profile

[orcl:~]$ hive   <<<- 이제 이것만 써도 됨 !

 

 

■아침에 오면

[oracle@edydr1p2 ~]$ start-all.sh

[oracle@edydr1p2 ~]$ jps

이걸 실행시켜야

emp 테이블도 불러올수 있고 작업가능하다(노드 연결같은거라 생각하면 됨)

 

 

■ 데이터에 따른 프로그램 사용

 

small data                    vs                          big data

오라클 SQL                            하둡 Hive

 

 

1. 자바설치

왜 자바를 설치해야 하는가?

하둡이 자바로 개발되었고 데몬을 구동할때에 jar 파일을 수정하기 때문에

반드시 자바가 필요하다.

(자바는 jdk 1.6 버젼 이상 설치를 권장)

 

• jar   ====>  자바 코드 실행파일

 

 

■ 3. 하둡 분산 파일 시스템 명령어

 

 

1. ls -> 지정된 디렉토리에 있는 파일의 정보를 출력

2. lsr -> 현재 디렉토리 뿐만 아니라 하위 디렉토리까지 조회

3. du ->  파일의 용량 확인

4. dus -> 파일의 전체 합계 용량 확인

5. cat -> 지정된 파일의 내용을 화면에 출력

6. text -> zip 파일 형태도 text 형대로 화면에 출력  (리눅스의 cat 과 같음, cat 으로 써도 됨)

7. mkdir -> 디렉토리 생성

8. put -> 파일을 하둡 파일 시스템에 올리는 명령어

9. copyFromLocal -> 파일 복사

10. get -> 하둡 파일 시스템의 파일을 리눅스 디렉토리로 내리는

           명령어

11. getmerge -> 지정된 경로에 있는 모든 파일의 내용을 합친후 하나의 파일로 복사하는 명령어

12. mv -> 파일을 이동하는 명령어

13. moveFromLocal -> 복사후 원본 파일 삭제

14. rm -> 파일 삭제

15. rmr -> 디렉토리 삭제 

16. count -> 지정된 디렉토리의 파일의 갯수 확인

17. tail -> 파일의 마지막 내용 확인

18. chmod -> 권한 변경

19. chown -> 소유자 변경

20. tochz -> 0 바이트 파일 생성

21. stat -> 통계정보 조회

22. expuge -> 휴지통 비우기

23. grep -> 파일에서 특정 문자의 라인을 검색

24. awk  -F "," -> 파일의 특정 컬럼을 검색

 

문제. 겨울왕국 대본 winter.txt 를 하둡 파일 시스템에 올리시오

 

[root@edydr1p0 ~]# cd /media/sf_Share

[root@edydr1p0 sf_Share]# ls

[root@edydr1p0 sf_Share]# cp wintert.txt /home/oracle/winter.txt

[root@edydr1p0 sf_Share]# cd /home/oracle

-ls  (파일 복사됐나 확인★)

[root@edydr1p0 oracle]# chown -R oracle:oinstall dept2.csv  (이건 해도 그만이랬음)

 

[orcl:~]$ hadoop fs -put /home/oracle/winter.txt winter.txt

[orcl:~]$ hadoop fs -ls winter.txt

Found 1 items

-rw-r--r--   3 oracle supergroup     111181 2018-12-28 11:39 /user/oracle/winter.txt

문제. 하둡 파일 시스템에 emp2.csv 파일을 올리시오

 

[root@edydr1p0 ~]# cd /media/sf_Share

[root@edydr1p0 sf_Share]# ls

[root@edydr1p0 sf_Share]# cp emp.csv /home/oracle/emp.csv

[root@edydr1p0 sf_Share]# cd /home/oracle

-ls  (파일 복사됐나 확인★)

[root@edydr1p0 oracle]# chown -R oracle:oinstall emp.csv  (이건 해도 그만이랬음)

 

[orcl:~]$ hadoop fs -put /home/oracle/emp.csv   emp.csv

[orcl:~]$ hadoop fs -ls emp.csv

Found 1 items

-rw-r--r--   3 oracle supergroup     111181 2018-12-28 11:39 /user/oracle/emp.csv

 

 

사용자,그룹명이 oracle oinstall 되도록 한다.

[orcl:~]$ hadoop fs -chown -R oracle:oinstall emp2.csv  (하둡에서 해야 함)

[orcl:~]$ hadoop fs -ls emp2.csv

Found 1 items

-rw-r--r--   3 oracle oinstall        644 2018-12-28 11:46 /user/oracle/emp2.csv

문제. 하둡 파일 시스템에 올라간 emp2.csv 를 cat으로 조회 하시오!

(cat, text 다 됨)

 

[orcl:~]$ hadoop fs -text emp2.csv

 

7839,KING,PRESIDENT,0,1981-11-17,5000,0,10

7698,BLAKE,MANAGER,7839,1981-05-01,2850,0,30

7782,CLARK,MANAGER,7839,1981-05-09,2450,0,10

7566,JONES,MANAGER,7839,1981-04-01,2975,0,20

7654,MARTIN,SALESMAN,7698,1981-09-10,1250,1400,30

7499,ALLEN,SALESMAN,7698,1981-02-11,1600,300,30

7844,TURNER,SALESMAN,7698,1981-08-21,1500,0,30

7900,JAMES,CLERK,7698,1981-12-11,950,0,30

7521,WARD,SALESMAN,7698,1981-02-23,1250,500,30

7902,FORD,ANALYST,7566,1981-12-11,3000,0,20

7369,SMITH,CLERK,7902,1980-12-09,800,0,20

7788,SCOTT,ANALYST,7566,1982-12-22,3000,0,20

7876,ADAMS,CLERK,7788,1983-01-15,1100,0,20

7934,MILLER,CLERK,7782,1982-01-11,1300,0,10

문제. 직업이 salesman 인 사원들의 모든 데이터를 출력하시오

 

$ hadoop fs -cat emp2.csv | grep -i 'salesman'

$hadoop fs -awk '

 

 $hadoop fs -cat emp2.csv | awk -F "," '$3=="SALESMAN" '

***awk 만 쓰면 출력이 안됨.(리눅스랑 조금 다름)

 

 

 

문제. 월급이 3000 인 사원의 이름. 월급을 출력하시오

 

[orcl:~]$  hadoop fs -cat emp2.csv | awk -F "," '$6==3000 { print $2,$6 }'

FORD 3000

SCOTT 3000

 

 

 

문제. dept2.csv 를 하둡 파일 시스템에 올리시오 !

 

[root@edydr1p0 ~]# cd /media/sf_Share

[root@edydr1p0 sf_Share]# ls

dept2.csv  hadoop-1.2.1.tar.gz  jdk-7u60-linux-i586.gz

emp2.csv   hive-0.12.0.tar.gz

[root@edydr1p0 sf_Share]# cp dept2.csv /home/oracle/dept2.csv

[root@edydr1p0 sf_Share]# cd /home/oracle

-ls  (파일 복사됐나 확인★)

[root@edydr1p0 oracle]# chown -R oracle:oinstall dept2.csv

[root@edydr1p0 oracle]# exit

logout

[orcl:~]$ ll dept2.csv

-rwxr-x--- 1 oracle oinstall 84 Dec 28 14:08 dept2.csv

[orcl:~]$ hadoop fs -put /home/oracle/dept2.csv dept2.csv

 

[orcl:~]$ hadoop fs -cat dept2.csv

 

 

[orcl:~]$ hadoop fs -cat dept2.csv

10,ACCOUNTING,NEW YORK

20,RESEARCH,DALLAS

30,SALES,CHICAGO

40,OPERATIONS,BOSTON