반응형
혹시 크롤링이 중간에 중단되거 에러나서 안꺼지는 경우가 생길 수 있습니다.
물론 모든 예외처리에 했어도 발생 하더라구요..
서버가 너무 느리다고 생각된다면 가끔 한번 확인해보세요
처음
명령어를 날려본다면 사용중인 프로그램 CPU를 얼마나 사용하는지를 알 수 있을 겁니다.
그리고
ps -ef | grep chrome
를 쳐본다면
아마 확인할 수 있을겁니다.
그리고 너무 많이 있어서 강제 kill 이 불가능할거 같거나 오래걸릴거 같다?
걱정마세요
ps -ef | grep chrome | awk '{print $2}' | xargs kill
명령어만 날린다면 당신은 기분이 좋아질겁니다.
반응형
'빅데이터 > 크롤링' 카테고리의 다른 글
자바 유튜브 API 이용하여 데이터 가져오기( 유튜브 크롤링) (0) | 2020.12.23 |
---|---|
자바 트위터 API를 이용한 데이터 수집 하기 (트위터 크롤링) (0) | 2020.12.23 |
자바 크롤링 Headless 적용 최신판!!!!(인스타 정책 변경) (0) | 2020.12.22 |
자바 셀레니움 크롤링할때 전체 텍스트가 안가져와질때 (1) | 2020.09.17 |
셀레니움과 자바 연동하여 크롤링 (0) | 2019.12.24 |
댓글