Fresh life: 신선한 인생

안녕하세요! 조신선입니다. 오늘은 다변량 데이터와 pandas 데이터 프레임에 대해서 포스팅하겠습니다. 오늘도 역시나 쥬피터(vscode확장자 : ipynb) 환경으로 시작하겠습니다. 라이브러리 임포트 import pandas as pd import scipy as sp %precision 3 그룹별 통계량 예시 코드에 쓰일 데이터 파일을 이미지로 공유드리겠습니다. 아래 코드는 fish_multi 데이터 프레임을 'species' 열을 기준으로 그룹핑한 뒤 각 그룹별로 열의 평균 값을 계산하는 코드입니다. groupby 메소드로 'species' 열을 기준으로 데이터 프레임을 그룹핑한 결과를 group 변수에 저장하고, mean 메소드를 이용해 각 그룹별로 열의 평균 값을 계산하여 출력합니다. 아래 코드..

안녕하세요! 조신선입니다. 오늘은 scipy라이브러리에 대해서 배워보고 앞전에 배웠던 넘파이,판다스와 같이 사용하는 방법에 대해서 포스팅 해보도록 하겠습니다! 오늘도 역시나 주피터 환경으로 시작하겠습니다. scipy란? Scipy는 과학, 공학, 경제학 등에서 자주 사용되는 여러 기능을 제공하는 파이썬 라이브러리 중 하나입니다. Scipy는 다양한 부분 패키지로 구성되어 있으며, 이들 패키지는 고성능 선형 대수, 최적화, 통계 분석, 푸리에 변환, 신호 처리 등 다양한 과학 기술 계산에 사용됩니다. Scipy는 NumPy와 같이 작동하기 때문에 두 라이브러리를 함께 사용하여 다양한 과학, 공학 및 경제학 문제를 해결할 수 있습니다. 필요한 라이브러리 임포트 import numpy as np import ..

안녕하세요! 조신선입니다. 해당 카테고리에서는 파이썬을 활용한 통계기법에 대해서 포스팅하도록 하겠습니다. 파이썬통계는 기본적으로 쥬피터 환경에서 실행하도록 합니다! vscode를 사용하고 계시다면 확장자가 py가 아닌 ipynb로 하셔야합니다. 쥬피터 환경으로 하는 이유는 필요한 라이브러리가 대부분 같은데, 하나의 데이터로 여러개의 분석을 할 때 일일이 파일을 생성하기 보다는 쥬피터 환경에서는 하나의 데이터로 여러개의 분석을 할 수 있기 때문입니다. 그럼 시작하겠습니다. numpy·pandas란? NumPy는 파이썬에서 대규모 다차원 배열과 행렬 연산을 지원하는 라이브러리로, 과학, 수학, 엔지니어링 등 다양한 분야에서 활용되고 있습니다. NumPy는 배열을 효율적으로 다루기 위해 벡터화 연산을 사용하고..

안녕하세요! 조신선입니다. 오늘은 구글 이미지 검색을 하고, 검색한 결과값을 jpg파일로 저장하는 코드를 만들어 보겠습니다. 이 코드는 구글 이미지 검색을 통해 검색어에 해당하는 이미지를 원하는 개수만큼 저장하는 코드입니다. 검색어와 저장할 이미지 개수를 입력받아, 해당하는 이미지를 검색하여 urllib 모듈을 이용해 이미지를 저장합니다. 코드에는 webdriver 모듈을 이용하여 크롬 드라이버를 실행하고, 검색어를 입력하는 등의 작업을 수행하는 부분이 포함되어 있습니다. 또한, 이미지를 저장하기 위해 os 모듈과 urllib 모듈을 사용합니다. 위 코드를 실행하면 검색어와 저장할 이미지 개수를 입력하면 해당하는 이미지를 검색하여 ./images 폴더 내에 저장됩니다. 1. 필요한 라이브러리 임포트 fr..

안녕하세요! 조신선입니다. 오늘은 파이썬 selenium 라이브러리에 대해 포스팅하도록 하겠습니다. 셀레니엄은 동적인 웹페이지를 크롤링 하려면 필수적으로 익혀야 하는 라이브러리 입니다. 뷰티풀수프나 리퀘스트로는 크롤링 하기 힘든, 네이버 지도와 같이 프레임을 이동하는 웹페이지를 크롤링하기 위해서는 필수적으로 익혀야 합니다. 예를 들자면, 아래 이미지처럼 그냥 검색을 했을 경우 스크롤을 내리지 않는다면, 맛집리스트가 10개밖에 뜨지 않습니다. 실제로 스크롤을 끝까지 내리면 54개의 가게가 한 페이지에 노출되는 것을 알 수 있습니다. 이렇게 동적인 웹페이지 정보를 추출할 수 있는 것이 셀레니엄이라고 이해하시면 될 것 같습니다. 오늘은 셀레니엄의 기초 강의와 예시를 작성하겠습니다. 1. Selenium이란? ..

안녕하세요. 조신선입니다. 오늘은 웹 크롤링을 할 때 필수적으로 알아야하는 셀레니엄 라이브러리에서 프레임을 전환하는 방법을 알아보겠습니다. 웹 크롤링 기초적인 부분은 아니고, 중급 정도되는 난이도이긴 한데 네이버맛집이나 동적 웹사이트를 크롤링하기 위해서는 필수로 알아야 하는 개념입니다. 우선 selenium 라이브러리의 switch_to 메소드는 현재 브라우저 세션에서 새 창, 프레임 또는 얼럿(dialog)으로 이동하는 데 사용됩니다. switch_to 메소드의 하위 개념들은 다음과 같습니다. switch_to.window(handle_or_name) : 새 창으로 이동합니다. handle_or_name은 새 창의 윈도우 핸들(window handle) 또는 이름 입니다. switch_to.frame(..