SPARK 설치 후 zepplien까지 ~

 

설치 사이트 

http://mirror.navercorp.com/apache/spark/spark-2.4.6/

 

저는  wget mirror.navercorp.com/apache/spark/spark-2.4.6/spark-2.4.6-bin-hadoop2.7.tgz 이걸로 햇음

 

설치완료 후 압축 풀고

 

설정 

/etc/profile에 경로설정은 기본

 

 

# conf/spark-env.sh

 

/bin/spark-shell실행 

끝!!

 

 

그 다음은 제플린 설정해야한다.

 

제플린 http://apache.tt.co.kr/zeppelin/zeppelin-0.8.2/

Index of /zeppelin/zeppelin-0.8.2

wget apache.tt.co.kr/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz(아마 4시간 걸릴꺼다.. 내가 그랫음)

 

그 다음에 /conf/zeppelin-site.xml 과 zeppelin-env.sh를 만들어준다

cp zeppelin-site.xml.template zeppelin-site.xml 

cp zeppelin-env.sh.template zeppelin-env.sh

 

한 뒤에

 

vi zeppelin-site.xml

위에 master01은 localhost ip이다

포트설정기본은 8080이다.

 

zeppelin-env.sh 에는

 

그리고 실행하면

 

이 화면이 뜨면 성공~

 

테스트 파일 생성

테스트 확인~

 

혹시 

 

java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()I at 

 

이런 에러가 나온다?

why? netty jar파일의 버전이 제플린과 스파크가 서로 달라서 생긴 오류

 

$ZEPPELIN_HOME/lib 에 있는 netty-all..... 파일 삭제후

$SPARK_HOME/jars 에서 netty-all-x..... 이라는 파일을 복사하여 $ZEPPELIN_HOME/lib에 넣어준다

 

 

그 다음 rdd가 생성이 안되거나 

com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.11-1 at com.fasterxml.jackson.module.scala.JacksonModule$class.setupModule(JacksonModule.scala:64) at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19) at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:747) at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82) at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala) at org.apache.spark.SparkContext.withScope(SparkContext.scala:699) at org.apache.spark.SparkContext.parallelize(SparkContext.scala:716) ... 47 elided

이런 에러가 발생했다???

 

$SPARK_HOME/jars 안에 모든 jar파일을 $ZEPPELIN_HOME/interpreter/spark 에다가 다때려박기

$SPARK_HOME/jars 에서

 

cp *  $ZEPPELIN_HOME/interpreter/spark/ 

 

하고 실행해보면?

 

성공!!!!!!

 

드디어 구축에 완료하였다

 

 

 

*****2020-06-26 추가사항

Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2615) at java.lang.Class.getMethod0(Class.java:2856) at java.lang.Class.getMethod(Class.java:1668) at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)

 

 

혹시 이런 에러가 나온다면

spark-env.sh 에다가

export SPARK_DIST_CLASSPATH=$(hadoop classpath)  를

추가하세요~