Fresh life: 신선한 인생

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 웹크롤링 하는 방법 2탄에 대해서 포스팅하겠습니다. 2번째 코드입니다. 1번의 경우 맛집들의 주소를 크롤링 했다면, 2번째 코드는 1탄에서 크롤링한 주소에 접속해서 원하는 정보를 추출해서 csv 파일로 저장하는 코드라고 생각하시면 됩니다. import requests import scrapy from scrapy.http import TextResponse from selenium import webdriver import pandas as pd import json import time import datetime from selenium.webdriver.common.by import By from selenium.webdriver.common.ke..

안녕하세요! 조신선입니다. 오늘은 파이썬 selenium 라이브러리에 대해 포스팅하도록 하겠습니다. 셀레니엄은 동적인 웹페이지를 크롤링 하려면 필수적으로 익혀야 하는 라이브러리 입니다. 뷰티풀수프나 리퀘스트로는 크롤링 하기 힘든, 네이버 지도와 같이 프레임을 이동하는 웹페이지를 크롤링하기 위해서는 필수적으로 익혀야 합니다. 예를 들자면, 아래 이미지처럼 그냥 검색을 했을 경우 스크롤을 내리지 않는다면, 맛집리스트가 10개밖에 뜨지 않습니다. 실제로 스크롤을 끝까지 내리면 54개의 가게가 한 페이지에 노출되는 것을 알 수 있습니다. 이렇게 동적인 웹페이지 정보를 추출할 수 있는 것이 셀레니엄이라고 이해하시면 될 것 같습니다. 오늘은 셀레니엄의 기초 강의와 예시를 작성하겠습니다. 1. Selenium이란? ..

안녕하세요. 조신선입니다 :) 오늘은 selenium 라이브러리 메소드 중 크롬옵션에 대해서 알아보도록 하겠습니다. options = webdriver.ChromeOptions()은 selenium의 Chrome webdriver를 사용할 때, 추가적인 설정을 위해 사용하는 클래스입니다. 이를 사용하기 위해서는 아래처럼 2가지 라이브러리를 임포트해주어야 합니다. from selenium import webdriver #기본 웹드라이버 임포트 from selenium.webdriver.chrome.options import Options #add_argument 사용하기 위해 임포트 하는 것! ChromeOptions 클래스는 ChromeDriver에서 사용할 수 있는 많은 옵션을 제공합니다. 이를 사용하..

안녕하세요. 조신선입니다. 오늘은 웹 크롤링을 할 때 필수적으로 알아야하는 셀레니엄 라이브러리에서 프레임을 전환하는 방법을 알아보겠습니다. 웹 크롤링 기초적인 부분은 아니고, 중급 정도되는 난이도이긴 한데 네이버맛집이나 동적 웹사이트를 크롤링하기 위해서는 필수로 알아야 하는 개념입니다. 우선 selenium 라이브러리의 switch_to 메소드는 현재 브라우저 세션에서 새 창, 프레임 또는 얼럿(dialog)으로 이동하는 데 사용됩니다. switch_to 메소드의 하위 개념들은 다음과 같습니다. switch_to.window(handle_or_name) : 새 창으로 이동합니다. handle_or_name은 새 창의 윈도우 핸들(window handle) 또는 이름 입니다. switch_to.frame(..