반응형 크롤링3 자바 유튜브 API 이용하여 데이터 가져오기( 유튜브 크롤링) 유튜브 크롤링 할때 여러분들은 어떻게 하세요? 뭐 다 똑같겠죠 내용까지 가져오려면 클릭해서 안에 내용가져오고 다시 URL바꿔서 수집하고 .. 이러면 과부하도 걸리고 오래걸리고 그러자나여? 알아여 해봤으니깐 근데 유튜브도 API로 인해 쉽게 데이터를 가져올 수 있다는 사실을 알고 계셨나요? 알았다면 여기서 우리가 만날일은 없었겠죠 자 다시 소스 들어가여~ //동영상 카운트 private int cnt =1; public void getYoutube(String nextToken) { String apikey = "자신의 api key 값"; String channelId = "자신이 수집하고 싶은 채널 id값 UC로 시작하는거"; String UPplaylistid ="UCxxxxx 를 UU로 바꿔줘서 넣.. 2020. 12. 23. 자바 크롤링 Headless 적용 최신판!!!!(인스타 정책 변경) 님들 혹시 인스타 그램 같은거 크롤링 하세여? 저는 하는데.. 로컬에서는 존나 잘되는데 headless써서 서버에서 하면 안될때 있죠? 있을껄요 왜냐구요? 내가 그랬으니깐 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 이거 거의 무슨 한 3일인가 걸렷는데 이거 특별히 알려드림 대신 도움되면 이거저거 눌러주셈 일단 갯콘지 뭔지 모르겠고 저는 크롬드라이버 사용합니다. 크롬이 짱짱맨임 아무튼 원래는 기존에 추가한거 아시죠 ? 그렇게 했었는데 인스타를 하는 중에 자꾸 에러가 나는거에여? 인스타 정책이 바뀌어서 무조건 로그인을 해야된다고 하더라고요 예? 알고 있었다고요? 저는 아닌데여 아무튼 그래서 아예 로그인을 한후에 해당 url로 다시 보내는 작업을 했습니다. driver.get("www.i.. 2020. 12. 22. 셀레니움과 자바 연동하여 크롤링 나와 같이 자바로 크롤링을 하는 사람들을 위한 글입니다. >gradle에서 셀레니움 추가 필자는 Gradle을 사용하고 있으므로 셀레니움 사용을 위해 가볍게 추가 하였다. Chromedriver 또한 사용해야 하기 때문에 *버전 확인 방법 크롬 더보기 > 도움말 > chrome 정보 확인 누르면 버전확인 가능! 다운받은 크롬드라이버는 프로젝트 내부에 바로 넣어주었다. 리눅스 환경에서 돌리기위해서 headless를 사용한다. 밑에 여러 옵션도 넣어줘야 돌아가더라고요 필자는 하나하나 구분하여 나눠놓는게 편해서 이렇게 해놨다~ 크롤링하시는 분들에게 도움이 잘 되길 바라며 첫글은 여기 까지 2019. 12. 24. 이전 1 다음
