Fresh life: 신선한 인생

ChromeOptions는 Selenium을 사용하여 Chrome 브라우저를 제어할 때 설정할 수 있는 옵션들의 컨테이너입니다. 이러한 옵션을 사용하여 Chrome 브라우저의 동작을 제어하고 사용자 지정할 수 있습니다. 아래는 일반적으로 사용되는 몇 가지 ChromeOptions 항목입니다: ChromeOptions 항목 --headless: 이 옵션을 사용하면 Chrome을 화면에 표시하지 않고 백그라운드에서 실행할 수 있습니다. 이것은 브라우저를 시각적으로 표시하지 않고 웹 스크래핑 또는 테스트 작업을 수행하는 데 유용합니다. --disable-gpu: GPU 가속을 비활성화합니다. 일부 시스템에서 GPU 가속이 문제를 일으킬 수 있으므로 이를 비활성화하여 문제를 해결하는 데 도움이 됩니다. --di..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 웹크롤링 하는 방법 2탄에 대해서 포스팅하겠습니다. 2번째 코드입니다. 1번의 경우 맛집들의 주소를 크롤링 했다면, 2번째 코드는 1탄에서 크롤링한 주소에 접속해서 원하는 정보를 추출해서 csv 파일로 저장하는 코드라고 생각하시면 됩니다. import requests import scrapy from scrapy.http import TextResponse from selenium import webdriver import pandas as pd import json import time import datetime from selenium.webdriver.common.by import By from selenium.webdriver.common.ke..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 웹크롤링 하는 방법에 대해서 포스팅하겠습니다. 맛집 지도를 만든다거나, 나만의 맛집 리스트를 만들기 위해 #다이닝코드, #네이버지도, #망고플레이트 등의 맛집 리스트를 확인할수 있는 웹사이트에서 다양하게 크롤링을 시도했었는데요. 제가 해본바로는 망고플레이트가 가장 쉬웠던 것 같습니다. (다이닝코드도 난이도는 비슷) 네이버지도는 동적이고 프레임도 많이 바꿔줘야 하기 때문에 어려운 점이 있지만, 네이버지도 리스트를 크롤링 할 수 있는 실력이 있다면, 맛집 뿐만 아니라 다양한 정보들을 크롤링 할 수 있는 장점이 있습니다. 네이버지도 크롤링 방법은 추후에... 구글 애드센스 승인 후에 업로드 하려고 아껴두고 있슴..^^: 그럼 시작하겠습니다! import re..

안녕하세요. 조신선입니다. 오늘은 웹 크롤링을 할 때 필수적으로 알아야하는 셀레니엄 라이브러리에서 프레임을 전환하는 방법을 알아보겠습니다. 웹 크롤링 기초적인 부분은 아니고, 중급 정도되는 난이도이긴 한데 네이버맛집이나 동적 웹사이트를 크롤링하기 위해서는 필수로 알아야 하는 개념입니다. 우선 selenium 라이브러리의 switch_to 메소드는 현재 브라우저 세션에서 새 창, 프레임 또는 얼럿(dialog)으로 이동하는 데 사용됩니다. switch_to 메소드의 하위 개념들은 다음과 같습니다. switch_to.window(handle_or_name) : 새 창으로 이동합니다. handle_or_name은 새 창의 윈도우 핸들(window handle) 또는 이름 입니다. switch_to.frame(..