분류 전체보기 (180) 썸네일형 리스트형 4. HIVE ■ 4. HIVE $ cd .bash_profile 열고 맨 아래에 export HIVE_HOME=/home/oracle/hive-0.12.0 export PATH=$HIVE_HOME/bin:$PATH 추가하면 $ cd /home/oracle/hive-0.12.0/bin $ ./hive 이렇게 접속했던 hive 를 [orcl:~]$ . .bash_profile [orcl:~]$ hive 문제9. hive 로 접속해서 dept 테이블을 생성하시오 hive> load data inpath '/user/oracle/dept2.csv' overwrite into table dept; hive> select * from dept; 문제10. dept2.csv , emp2.csv 로드하시오 select * from.. 3. 하둡 분산 파일 ■ 3. 하둡 분산 파일 시스템 명령어 ■ 접속방식 변경 $ cd /home/oracle/hive-0.12.0/bin $ ./hive 이렇게 접속했던 hive 를 [orcl:~]$ . .bash_profile [orcl:~]$ hive 현재 디렉토리 뿐만 아니라 하위 디렉토리까지 조회 3. du -> 파일의 용량 확인 4. dus -> 파일의 전체 합계 용량 확인 5. cat -> 지정된 파일의 내용을 화면에 출력 6. text -> zip 파일 형태도 text 형대로 화면에 출력 (리눅스의 cat 과 같음, cat 으로 써도 됨) 7. mkdir -> 디렉토리 생성 8. put -> 파일을 하둡 파일 시스템에 올리는 명령어 9. copyFromLocal -> 파일 복사 10. get -> 하둡 파일 시.. 2. 하둡설치, hive 설치 ■ 2. 하둡설치 1. java 설치 하둡이 자바로 만들어져있기 때문에 java를 설치해야한다. 2. java 환경설정 java 홈디렉토리가 어디다 라고 지정 3. keygen 생성 여러노드(서버)들을 묶어서 하둡을 운영할 것이기 때문에 내 컴퓨터에서 상대방 컴퓨터로 접속할 때 패스워드를 매번 물어보지않고 그냥 바로 접속하게 하려면 keygen 을 생성해야한다. 4. 하둡 설치파일을 올린 후 압축을 푼다 hadoop-1.2.1.tar.gz 5. 하둡 홈디렉토리를 설정한다. 6. 하둡을 운영하기 위한 xml 파일 3개를 수정한다. 1. core-site.xml 2. mapred-site.xml 3. hdfs-site.xml 7. 하둡 네임노드를 포멧한다. 8. 하둡을 시작시킨다. 9. 하둡이 잘 시작되었는.. 1. 하둡을 배워야 하는 이유 ■ 1. 하둡을 배워야 하는 이유 하둡? 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크 구글에서 구글에 쌓여지는 수많은 빅데이터(웹페이지, 데이터..)들을 구글에서도 처음에는 RDBMS(오라클)에 입력하고, 데이터를 저장하고, 처리하려는 시도를 했으나 너무 데이터가 많아서 실패를 하고 자체적으로 빅데이터를 저장할 기술을 개발했다. 해당기술에 대하여 대외적으로 논문을 하나 발표했다. 그 논문을 더그커팅(하둡을 만든이)이 읽고 자바로 구현을 했다. 그 이름을 뭘로 할까 고민을 하다가 더그커팅의 애기가 노란코끼리 장난감을 가지고 놀면서 Hadoop 이라고 한 것을 듣고 Hadoop 이라고 이름을 지었다. 그래서 그 뒤로 Hadoop을 편하게 이용할 수 있도록 개발한 모든 하둡 생태계에 개.. 디스크 관리[df,du,sar,한글 input, 리눅스 str] ■ 디스크관리 *디스크 관리 명령어 3가지 1. df 명령어 2. du 명령어 3. sar 명령어 ■ du 명령어 "현재 파일/디렉토리의 디스크 사용량을 표시하는 명령어" 예제: $ du -sh 홈디렉토리로 가서 [orcl:~]$ du -sh 314M $ du -s *.txt 파일들의 크기를 쫙 뽑아줌 문제. *.txt 파일 크기의 총 합을 출력하시오 [orcl:~]$ du -s *.txt | awk '{sum=sum+$1} END {print sum}' 220 또는 [orcl:~]$ du -c *.txt ■ df 명령어"현재 파일 시스템의 총 사용율을 확인하는 명령어"예:[orcl:~]$ df -hPFilesystem Size Used Avail Use% Mounted on/dev/mapper/VolG.. 권한관리[chmod,chown.chattr,권한관리 단축키, 단축어, root, chattr +i, whatis chmod] ■ 4. 권한관리 리눅스에서 파이썬의 배치파일을 실행하거나 R배치 파일을 실행하거나 하둡을 설치하고 운영을 할 때 여러가지 문제들이 발생하는데 그 중에 많은 문제들이 권한에 관련한 오류들이 많다. 그래서 권한관리를 잘 알아둬야 한다. *권한관리에 대한 명령어 3가지 1. chmod (change mod) 2. chown (change owner) 3. chattr (change attribute객체) *권한 관리표 번호 권한 대표문자 파일 디렉토리 1 읽기권한 r 읽고, copy 디렉토리에서 ls 가능 2 쓰기권한 w 수정 디렉토리에서 파일 생성가능 3 실행권한 x 실행 디렉토리에서 cd로 접근가능 *ls -l 로 특정 파일을 조회했을 때 나오는 권한부분을 해석 $ls -l emp.txt -rw-r--r.. vi 편집기[vi, view, vi -r, vi 커서이동,vi 명령어, 디버깅 -x] ■ vi 편집기 vi 편집기란? 리눅스 안에서 사용할 수 있는 문서 편집기 vi(Visual Editor) 의 뜻에서 유래가 됨 vi 편집기 명령모드 3가지 1. command 모드(esc눌렀을 때 그 화면) vi의 기본모드이며 vi를 실행하면 바로 보이는 화면 방향키로 왔다갔다 할 수 있는 화면 k , j 누르면 위아래 움직인다. l 누르면 옆으로 움직인다. 2. Edit 모드 a, i, o 등을 누르면서 내용을 입력 또는 삭제하는 명령모드 3. last line 모드 입력모드에서 저장안하고 나가는거: 쉬프트+콜론 -> q! 엔터 입력모드에서 저장하고 나가는거: :wq! 저장하고 종료(쉬프트+zz) ****대문자 ZZ를 쓰면 된다.(그래서 쉬프트씀) :q! 저장안하고 종료(쉬프트+zq) ****대문자 .. 리눅스 기본 명령어3[diff,find,tar,ln,sed,cp,mv] ■ 16. diff 명령어 "두 파일간의 차이점을 찾아서 알려주는 명령어" 예: $diff emp.txt emp7.txt [orcl:~]$ diff emp.txt emp2.txt 15a16> 7934 MILLER CLERK 7782 82/01/11 1300 0 10 ■ 17. find 명령어 "검색하고자 하는 파일을 찾을 때 사용하는 명령어" 예: $find 디렉토리 -name '파일명' -print ↑ ↑ 검색할 디렉토리 검색할 파일명 [orcl:~]$ find /home/oracle -name 'emp.txt' -print/home/oracle/test100/emp.txt/home/oracle/test200/emp.txt/home/oracle/emp.txt/home/oracle/backup/emp.t.. 이전 1 ··· 19 20 21 22 23 다음