Selenium3 [Python] Selenium을 Webdriver-manager로 설정하기 Selenium을 사용할 때, Chrome driver를 설치하고 버전을 맞추는 것이 상당히 귀찮다.특히 사용자의 로컬 환경에서 크롬 버전이 맞아야 실행이 되니 또 하나의 의존성 문제가 발생하는 것이다.주기적으로 크롬 드라이버를 확인하고 설치하는 번거로움도 추가된다. ChromeDriver 개요 | Chrome for DevelopersChromeDriver는 W3C WebDriver 표준을 구현하는 독립형 서버입니다.developer.chrome.com 그래서 나온 Webdriver-manager 패키지는 버전이나 설치 위치를 잡아줄 필요없이 자동으로 설치해준다. 1. Webdrvier-manger 라이브러리 설치pip install selenium webdriver-manager 먼저, 터.. 2024. 8. 17. [Python] 네이버 플레이스(naver place) 리뷰 크롤링 지난 번 네이버 플레이스를 통해 크롤링을 해봤는데,이번에는 리뷰를 가져오는 코드를 실습해보았다. 특히 수집된 데이터를 다시 자연어 처리해 다른 분석을 해볼 때도 유용할 것 같다. 그리고 최근에 알게 된 사실인데, 크롤링(Crawling)과 스크래핑(Scraping)은 구분되는 개념이지만 그냥 크롤링이라는 명칭을 썼다. 사실 지금 하는 실습은 스크래핑이라는 것을 밝혀둔다. 1.탐색네이버 리뷰는 어디서 볼 수 있을까? 네이버 리뷰는 크게 2가지 방법으로 노출되고 있는데, 네이버 맵과 네이버 플레이스다.네이버 맵으로 접근하는 건 다른 개발블로그에서 많이 봤었고, 효율적인 코드가 많았다.맵에서는 검색 기반이라 특정 페이지로 바로 들어가는 건 불가능하고, 오직 검색을 통해서만 접근 할 수 있다.그런데 첫번째 검.. 2024. 8. 11. [Python] 네이버 플레이스 크롤링(selenium, BS4) 특정 지역의 데이터셋을 가지고 공부해보고 싶은게 있어서 지역 정보가 필요했다. 그런데 무식하게 긁어올 수 없어서 웹크롤러를 만들어보기로 했다. 바로 떠오른 생각은 네이버 지도에서 가져오는 것인데, 이게 생각보다 쉽지 않았다. 그래서 패쓰하고 네이버 플레이스 서비스로 접근했다. (OPEN API도 있었는데 전화번호 정보는 가져오지 못하는 한계가 있었다.) 우선 기본적인 라이브러리를 불러온다. 네이버에서는 일단 크롤링에 대해서 관대하지 않기 때문에 몇 가지 주의사항이 있다. from selenium.webdriver.common.by import By from urllib3.util.retry import Retry from requests.adapters import HTTPAdapter from bs4 .. 2022. 12. 20. 이전 1 다음
