반응형 전체 글84 KAFKA 와 JAVA 의 HTTP 통신 kafka 연결 부분 def conn(ip:String,count:Int): Unit ={ implicit val system = ActorSystem() implicit val materializer = ActorMaterializer() // needed for the future flatMap/onComplete in the end implicit val executionContext = system.dispatcher val responseFuture: Future[HttpResponse] = Http().singleRequest(HttpRequest(uri = "http://59.28.4.28:5000/sendEmail.do?ip="+ip+"&count="+count)) responseFutur.. 2020. 7. 6. 스파크 카프카 실시간 연동 구축 ㄹㅇ 여기저기 다찾아봄 참고사이트 : https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html 나는 아직 scala에 대한 공부가 더 필요한거 같다... def main(args: Array[String]) { val brokers = "master01:9092,slave01:9092" // classOf[StringDeserializer], "value.deserializer" -> classOf[StringDeserializer], "group.id" -> "use_a_separate_group_id_for_each_stream", "auto.offset.reset" -> "latest", "enable.auto.commit.. 2020. 7. 1. SPARK 설치 후 zepplien까지 ~ 설치 사이트 http://mirror.navercorp.com/apache/spark/spark-2.4.6/ 저는 wget mirror.navercorp.com/apache/spark/spark-2.4.6/spark-2.4.6-bin-hadoop2.7.tgz 이걸로 햇음 설치완료 후 압축 풀고 설정 /etc/profile에 경로설정은 기본 # conf/spark-env.sh /bin/spark-shell실행 끝!! 그 다음은 제플린 설정해야한다. 제플린 http://apache.tt.co.kr/zeppelin/zeppelin-0.8.2/ Index of /zeppelin/zeppelin-0.8.2 apache.tt.co.kr wget apache.tt.co.kr/zeppelin/zeppelin-0.8.2.. 2020. 6. 25. Hive 설치하기 HDFS 디렉토리 먼저 생성하기 hdfs dfs -mkdir /tmp hdfs dfs -mkdir /usr/hive/warehouse hdfs dfs -chmod g+w /tmp hdfs dfs -chmod -R g+w /usr wget mirror.apache-kr.org/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz 설치 압축푼다음 cp hive-env.sh.template hive-env.sh vi hive-env.sh 한 뒤에 mysql도 설치를 해야한다.. https://yoursyun.tistory.com/entry/%EB%A7%88%EB%A6%AC%EC%95%84-DB-103-%EC%84%A4%EC%B9%98-%EB%B0%8F-%EC%84%9C%EB%B9%8.. 2020. 6. 24. CentOs7 - Python 3.6.8 설치 ㄹㅇ 설치할라고 찾아보니깐 yum install -y https://centos7.iuscommunity.org/ius-release.rpm 이런거 존나 많은데 하나도 안됌 뭐 Loaded plugins: fastestmirror Cannot open: https://centos7.iuscommunity.org/ius-release.rpm. Skipping. Error: Nothing to do 이딴거 존나 뜸 ㅇㅈ ? 어 나만 인정 개빡쳐서 찾아봄 https://www.python.org/ftp/python/ 여기서 원하는 버전 찾으셈 개꿀? 설치하고 압축풀고 물론 tgz로 받으셧죠? ./configure 실행 make altinstall 실행 which python3.6 하면 위치 나옴 개꿀 vi /.. 2020. 6. 23. 카프카 구축하기 기존에 하둡설치에서 master01 , slave01 을 구축했었습니다. 저는 이 두개의 서버에 카프카를 구축 합니다. wget http://apache.mirror.cdnetworks.com/kafka/2.5.0/kafka_2.12-2.5.0.tgz 두 서버에 카프카를 먼저 설치합니다. * 참고!! 2888, 3888, 2181 포트를 모두 개방해주세요 vi config/zookeeper.properties (master01,slave01) 설정합니다. 그 다음 vi config/server.properties master01 에서는 만 찾아서 설정해주시고 slave01은 id값만 2로 변경!! 이후에 위에 dataDir을 설정한 경로에 파일을 만들고 master01 - echo 1 > /opt/kaf.. 2020. 6. 23. 이전 1 ··· 6 7 8 9 10 11 12 ··· 14 다음
