반응형 Spark2 SPARK STREAMING 데이터 중복처리 예시로 의미없는 로그 데이터를 스트리밍 처리하는 예제를 하고 출력하는 부분까지 완료했었다. 나는 로그에대해 counting을해서 3개 이상이 되면 메일전송과 DB에 저장하는 기능을 추가하고 싶었다. 하지만 ReducebykeyandWindow를 사용하여 RDD값을 출력하니..... 윈도우에 남아있는 값들을 계속 뽑아내는 현상을 발견했다. 첫번째 ----- ReduceByKeyAndWindow를 실행할때 키를 체크하여 처리해주는 함수에서 Counting 하여 처리하는 방법 . . . 하지만... value값만 가져올 수 있고 key값을 가져오지 못해서 실패 두번째 ---- reduceBykeyAndWindow에 두번째 함수 즉.. 윈도우가 끝날때 중복체크해주는 함수가 있지만 이미 key로 중복을 제거한 상.. 2020. 7. 20. KAFKA 와 JAVA 의 HTTP 통신 kafka 연결 부분 def conn(ip:String,count:Int): Unit ={ implicit val system = ActorSystem() implicit val materializer = ActorMaterializer() // needed for the future flatMap/onComplete in the end implicit val executionContext = system.dispatcher val responseFuture: Future[HttpResponse] = Http().singleRequest(HttpRequest(uri = "http://59.28.4.28:5000/sendEmail.do?ip="+ip+"&count="+count)) responseFutur.. 2020. 7. 6. 이전 1 다음
