프로그래밍/웹크롤링 & 텍스트마이닝

[파이썬 웹크롤링] 파이썬으로 네이버 영화 댓글 데이터 분석 해 보기

지원지원 2020. 8. 22. 22:09

세상 세상 세상에 일주일 넘게 노트북 열지도 않았어....

오엠지 초심을 잃은거야 뭐야ㅜㅡㅜ

오랜만에 공부하려니 힘들다

인스타그램(@study_zz._.one) 마지막 글 보면 네이버 영화 평점 댓글을 크롤링해 보고 싶었는데,

 

 

난 이 부분에 대한 데이터를 가지고 오고 싶었는데, 

이 밑에처럼 전문가 분석?만 계속 가지고 오는거임🤦🏻‍♀️

똑같은  div class 이름을 가지고 있었음 개빡쳐 ^^i

 

둘 다 div class="score_result"라서 

 

 

이렇게 find도 써보고 find_all 함수도 써 봤는데도 안 되는겨 ㅋ ㅋ  ㅋㅋ ㅜ ㅜ 

(의문인 거는 find_all 쓰면 왜 len이 1이 나오고 find 쓰면 len이 왜 3이 나오는 거지?)

진짜 이거 때문에 이틀인가를 붙잡고 있었다...

페이지 소스가 다른가 해서, 페이지 소스 보기를 했다??????

 

 

페이지 소스만 있는 게 아니라 프레임 소스가 있었다. ㅇㄴ

이런 거 첨 봐...

하나의 웹 브라우저 화면에 여러 개의 HTML 문서를 표시할 때 사용하는 게 프레임이다. 

프레임 크롤링하는 거는 또 다른 방법이 있다고 하는데, 일단 일반적인 requests로 하는 것이 아닌 selenium을 사용하는 거 같고... 그 안에서 또 다른 코드를 적어야 프레임 소스를 크롤링할 수 있다고 검색하니까 나오넹

 

네이버 영화 평점 댓글 크롤링 일단 첫 번째 시도는 실패다,,

다음 글은 아마 크롤링할 때 필요한 selenium 기초부터 다뤄볼 예정^&^