hadoop (10) 썸네일형 리스트형 2. 하둡설치, hive 설치 ■ 2. 하둡설치 1. java 설치 하둡이 자바로 만들어져있기 때문에 java를 설치해야한다. 2. java 환경설정 java 홈디렉토리가 어디다 라고 지정 3. keygen 생성 여러노드(서버)들을 묶어서 하둡을 운영할 것이기 때문에 내 컴퓨터에서 상대방 컴퓨터로 접속할 때 패스워드를 매번 물어보지않고 그냥 바로 접속하게 하려면 keygen 을 생성해야한다. 4. 하둡 설치파일을 올린 후 압축을 푼다 hadoop-1.2.1.tar.gz 5. 하둡 홈디렉토리를 설정한다. 6. 하둡을 운영하기 위한 xml 파일 3개를 수정한다. 1. core-site.xml 2. mapred-site.xml 3. hdfs-site.xml 7. 하둡 네임노드를 포멧한다. 8. 하둡을 시작시킨다. 9. 하둡이 잘 시작되었는.. 1. 하둡을 배워야 하는 이유 ■ 1. 하둡을 배워야 하는 이유 하둡? 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크 구글에서 구글에 쌓여지는 수많은 빅데이터(웹페이지, 데이터..)들을 구글에서도 처음에는 RDBMS(오라클)에 입력하고, 데이터를 저장하고, 처리하려는 시도를 했으나 너무 데이터가 많아서 실패를 하고 자체적으로 빅데이터를 저장할 기술을 개발했다. 해당기술에 대하여 대외적으로 논문을 하나 발표했다. 그 논문을 더그커팅(하둡을 만든이)이 읽고 자바로 구현을 했다. 그 이름을 뭘로 할까 고민을 하다가 더그커팅의 애기가 노란코끼리 장난감을 가지고 놀면서 Hadoop 이라고 한 것을 듣고 Hadoop 이라고 이름을 지었다. 그래서 그 뒤로 Hadoop을 편하게 이용할 수 있도록 개발한 모든 하둡 생태계에 개.. 이전 1 2 다음