9. sqoop 설치 , sqoop 으로 오라클, hive 연동

■9. sqoop 으로 오라클과 hive 연동

■ sqoop 설치

스쿱?

"오라클과 hive와의 데이터 연동"

 

오라클의 emp 테이블을 hive 로 바로 로드 할 수 있다.

 

오라클 -----------------------------------> hive

                         emp

 

 

 

* 스쿱 설치 과정

 

  1. 스쿱설치 파일을 올린다.

 

    sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz

 

 

  2. 스쿱설치 파일의 압축을 푼다.

 

    # cd  /media/sf_Share

   # cp  sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz  /home/oracle/

    # chown  -R  oracle:oinstall sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz

 

    # su - oracle

    $ tar xvzf  sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz

 

 

  3. ojdbc6.jar 파일을 sqoop 라이브러리로 이동한다.

 

    # cd /media/sf_Share

   # cp ojdbc6.zip  /home/oracle/

    # chown -R oracle:oinstall ojdbc6.zip

   

    # su - oracle

    $ unzip  ojdbc6.zip   (yes!!)

    $ ls -l ojdbc6.jar

   $ mv sqoop-1.4.6.bin__hadoop-1.0.0 sqoop

    $ cp /home/oracle/ojdbc6.jar  /home/oracle/sqoop/lib/

   

 

  4. 스쿱 디렉토리의 bin 디렉토리로 가서 스쿱을 실행한다.

 

    $ cd /home/oracle

    $ cd sqoop

    $ cd bin

    $ ./sqoop

 

         4개의 경고가 뜨면 정상

 

 

  5. .bash_profile 에 sqoop 홈 디렉토리를 지정한다.

 

    $ cd /home/oracle

    $ vi .bash_profile

 

    export  SQOOP_HOME=/home/oracle/sqoop

    export  PATH=$SQOOP_HOME/bin:$PATH

 

    $ . .bash_profile

 

 

  $start-all.sh

  $jps

 

 

■ hive가 정상인지 확인한다.

$start-all.sh

$jps

$hive

 

hive> select * from dept;

OK

10      ACCOUNTING      NEW YORK

20      RESEARCH        DALLAS

30      SALES   CHICAGO

40      OPERATIONS      BOSTON

 

 

 

■ 오라클이 정상인지 확인한다.

$ sqlplus scott/tiger

 

 

6. 오라클의 dept 테이블을 hive 로 로드한다.

1. 오라클에서 hive 로 데이터 이행을 위한 스크립트를 준비한다

$vi table_import.sh

 

#!/bin/bash

 

oracle_table=`echo $3 | tr '[a-z]' '[A-Z]'`

hadoop_table=`echo $3 | tr '[A-Z]' '[a-z]'`

 

sqoop import --username $1 \

--password $2 \

--connect jdbc:oracle:thin:@localhost:1521:orcl \

--table $oracle_table \

--hive-import \

--hive-table $hadoop_table \

--hive-overwrite \

-m 1

   

$sh table_import.sh scott tiger DEPT

 

 

문제150.

hive 에서 emp 테이블을 drop 하고

오라클의 emp 를 hive 로 이행하시오 !

 

select * from emp;