반응형
나와 같이 자바로 크롤링을 하는 사람들을 위한 글입니다.
>gradle에서 셀레니움 추가
필자는 Gradle을 사용하고 있으므로 셀레니움 사용을 위해 가볍게 추가 하였다.
Chromedriver 또한 사용해야 하기 때문에
*버전 확인 방법 크롬 더보기 > 도움말 > chrome 정보 확인 누르면 버전확인 가능!
다운받은 크롬드라이버는
프로젝트 내부에 바로 넣어주었다.
리눅스 환경에서 돌리기위해서 headless를 사용한다. 밑에 여러 옵션도 넣어줘야 돌아가더라고요
필자는 하나하나 구분하여 나눠놓는게 편해서 이렇게 해놨다~
크롤링하시는 분들에게 도움이 잘 되길 바라며 첫글은 여기 까지
반응형
'빅데이터 > 크롤링' 카테고리의 다른 글
자바 유튜브 API 이용하여 데이터 가져오기( 유튜브 크롤링) (0) | 2020.12.23 |
---|---|
자바 트위터 API를 이용한 데이터 수집 하기 (트위터 크롤링) (0) | 2020.12.23 |
서버에 Chrome 남아있는지 확인하고 일괄 삭제 (0) | 2020.12.22 |
자바 크롤링 Headless 적용 최신판!!!!(인스타 정책 변경) (0) | 2020.12.22 |
자바 셀레니움 크롤링할때 전체 텍스트가 안가져와질때 (1) | 2020.09.17 |
댓글