Fresh life: 신선한 인생

conda랑 pip install로 여러번 시도했었는데, 설치에 많은 실패가 있었습니다... 답은 prophet 공식 깃허브에 있었습니다. conda로 설치하는데서 계속 오류가 발생했고, 저는 pip install prophet으로 설치를 하고 있었는데, 될리가 없죠.. ㅋㅋㅋ 잘못하고 있었습니다. 아래에 여러가지 방법으로 설치하는 방법을 올려두겠습니다. 저는 참고로 파이썬으로 설치했고, 아래 방법으로 설치 1회만에 성공했습니다. R에 설치 - 최신 릴리스 install.packages('remotes') remotes::install_github('facebook/prophet@*release', subdir = 'R') Python에 설치 - PyPI 릴리스 Prophet은 PyPI에 있으므로 pip..

안녕하세요. 조신선입니다. 오늘은 전통적인 시계열 예측방법인 ARIMA 분석방법에 대해서 알아보도록 하겠습니다. 데이터 분석은 늘 VSCODE로 작업하고, 일반 파이썬 환경이 아닌 쥬피터 환경이라 부르는 환경에서 진행합니다. 우선 ARIMA 모델에 대해서 알아본 뒤, 코드로 비트코인 시세를 예측해보고, 실제 가격과의 차이를 확인해보도록 하겠습니다. ARIMA 모델이란? 파이썬의 ARIMA는 자기회귀누적이동평균(Autoregressive Integrated Moving Average) 모델을 구현하는 데 사용되는 시계열 데이터 분석 도구입니다. ARIMA는 시계열 데이터의 특성과 패턴을 분석하여 미래의 값을 예측하거나 시계열 데이터의 변동과 추세를 이해하는 데 도움을 줍니다. ARIMA는 세 가지 주요 매..

안녕하세요. 조신선입니다. 오늘은 최적의 하이퍼 파라미터를 찾는데 도움이 되는 함수에 대해서 포스팅해보겠습니다. sklearn.model_selection.GridSearchCV는 주어진 모델의 최적 하이퍼파라미터를 탐색하기 위해 사용되는 검색 기법 중 하나입니다. 주로 다음과 같은 상황에서 사용됩니다: 하이퍼파라미터 튜닝: 머신 러닝 모델은 다양한 하이퍼파라미터를 가지고 있습니다. 이러한 하이퍼파라미터들의 값을 조정하여 모델의 성능을 향상시킬 수 있습니다. GridSearchCV를 사용하면, 사전에 지정한 하이퍼파라미터들의 조합에 대해 교차 검증을 수행하여 최적의 하이퍼파라미터 조합을 찾을 수 있습니다. 모델 선택: 여러 종류의 모델(알고리즘) 중에서 최적의 모델을 선택해야 할 때, GridSearch..

안녕하세요. 조신선입니다. 회귀 분석은 이전에도 많이 다루어보았습니다. 예측 분석에서 가장 대표적인 방법이 회귀 분석이죠. 이번에는 조금 더 실용성있는 예제와 함께 회귀 분석에 대해서 알아보겠습니다. 데이터 분석은 늘 VSCODE로 작업하고, 일반 파이썬 환경이 아닌 쥬피터 환경이라 부르는 환경에서 진행합니다. 확장자가 'PY'가 아닌 'IPYNB'입니다. 회귀 분석이란?? 독립변수(x)와 종속변수(y) 간의 관계를 찾아내는 것입니다. 일차 방정식 ( Y = wX+b)로 예를 들 수 있습니다. 위 그래프에서 회귀 분석이란 실제 데이터(파란점)와 거리가 최소가 되는 방정식(선)을 찾아내는 것입니다. 즉, 방정식의 계수 w와 b를 잘 정의하는 것이라고 할 수 있습니다. 그렇다면 회귀 분석을 데이터 분석에 어..

이제 분석에 사용할 데이터가 준비되었으니, 본격적으로 텍스트 마이닝을 알아봅시다. ** 분석에 사용할 데이터는 이전 강의 참조해주세요. [데이터마이닝_1강] 웹 크롤링으로 기초 데이터 수집하기 이번 데이터마이닝 강의에서는 웹 크롤링으로 데이터를 수집하고, 키워드를 추출하여, 키워드 간의 연관 관계를 분석하고 이 결과를 시각화 해보도록 하겠습니다. 웹 크롤링으로 데이터 수집하 jofresh.tistory.com 크롤링: 웹 데이터 가져오기 이전 단계와 동일한 방법으로 웹 데이터를 크롤링합니다. 단, 이번에는 모든 URL의 데이터를 가져와 볼게요. 다음 코드를 실행하여 나무위키에서 최근 변경이 일어난 페이지들의 URL을 page_urls라는 변수에 저장합니다. # 크롤링한 데이터를 데이터 프레임으로 만들기 ..

이번 데이터마이닝 강의에서는 웹 크롤링으로 데이터를 수집하고, 키워드를 추출하여, 키워드 간의 연관 관계를 분석하고 이 결과를 시각화 해보도록 하겠습니다. 웹 크롤링으로 데이터 수집하기 '나무위키 최근 변경 페이지'의 텍스트 데이터를 크롤링으로 수집한 다음, 데이터 내에서 등장한 키워드의 출현 빈도를 분석해볼께요. 이를 통해 나무위키 페이지에서 가장 '핫한' 키워드가 무엇인지 분석할 수 있습니다. 웹 크롤링이란? 웹 페이지를 방문해서 페이지의 자료를 자동으로 수집하는 작업을 의미 합니다. 파이썬을 통해서 웹 크롤링을 진행하도록 할께요. 대상 페이지의 구조 살펴보기 크롤링을 위한 첫번째 단계는 인터넷 익스플로러, 크롬 등의 웹 브라우저를 실행하여 크롤링의 대상이 될 페이지 구조를 살펴보는 것 입니다. 먼저..

안녕하세요. 조신선입니다 비주얼스튜디오나 파이썬 설치 방법을 초반에 포스팅 했어야 했는데, 이제야 하게 되었습니다. 설치는 매우 간단하기 때문에 아래 설명대로 따라 하시면 금방 따라하실 거에요! 혹시 궁금하신 부분 있다면 댓글 남겨주세요 설치파일 다운로드 하기 VSCode 설치 파일 다운로드 - 공식 홈페이지로 접속 code.visualstudio.com/ - 본인의 OS에 맞는 설치 프로그램 다운로드 vscode 설치 - 라이센스 관련 동의 후 "다음" 클릭 - 설치 경로 선택 후 "다음" 클릭 - 설치 경로 확인 후 "다음" 클릭 - 시작 메뉴 관련 설정 후 "다음"클릭 - 추가 작업 설정 후 "다음" 클릭. 1) 아이콘 추가 : 바탕 화면에 VSCode 아이콘을 만들기 2) 두 번째, 세 번째 "c..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 웹크롤링 하는 방법 2탄에 대해서 포스팅하겠습니다. 2번째 코드입니다. 1번의 경우 맛집들의 주소를 크롤링 했다면, 2번째 코드는 1탄에서 크롤링한 주소에 접속해서 원하는 정보를 추출해서 csv 파일로 저장하는 코드라고 생각하시면 됩니다. import requests import scrapy from scrapy.http import TextResponse from selenium import webdriver import pandas as pd import json import time import datetime from selenium.webdriver.common.by import By from selenium.webdriver.common.ke..

안녕하세요. 조신선입니다. 셀레니엄 라이브러리를 사용하기 위해서는 크롬드라이버를 필수적으로 설치를 해야 하는데요. 제가 웹크롤링 하는 방법에 대한 포스팅은 몇 번 했으나, 크롬드라이버 설치 하는 방법에 대한 포스팅일 하지 않았어서 늦게나마 포스팅 하려고 합니다. 우선 본인의 크롬 브라우저 버전을 확인합니다. 1. 크롬 브라우저 버전 확인 방법 크롬 설정 -> 크롬 정보 클릭 2. 아래 구글드라이버 홈페이지로 이동해서 본인 크롬 브라우저 버전에 맞는 드라이버를 다운로드 해줍니다. ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 115 or newer, please consult th..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 웹크롤링 하는 방법에 대해서 포스팅하겠습니다. 맛집 지도를 만든다거나, 나만의 맛집 리스트를 만들기 위해 #다이닝코드, #네이버지도, #망고플레이트 등의 맛집 리스트를 확인할수 있는 웹사이트에서 다양하게 크롤링을 시도했었는데요. 제가 해본바로는 망고플레이트가 가장 쉬웠던 것 같습니다. (다이닝코드도 난이도는 비슷) 네이버지도는 동적이고 프레임도 많이 바꿔줘야 하기 때문에 어려운 점이 있지만, 네이버지도 리스트를 크롤링 할 수 있는 실력이 있다면, 맛집 뿐만 아니라 다양한 정보들을 크롤링 할 수 있는 장점이 있습니다. 네이버지도 크롤링 방법은 추후에... 구글 애드센스 승인 후에 업로드 하려고 아껴두고 있슴..^^: 그럼 시작하겠습니다! import re..