Fresh life: 신선한 인생

안녕하세요. 조신선입니다. 셀레니엄 라이브러리를 사용하기 위해서는 크롬드라이버를 필수적으로 설치를 해야 하는데요. 제가 웹크롤링 하는 방법에 대한 포스팅은 몇 번 했으나, 크롬드라이버 설치 하는 방법에 대한 포스팅일 하지 않았어서 늦게나마 포스팅 하려고 합니다. 우선 본인의 크롬 브라우저 버전을 확인합니다. 1. 크롬 브라우저 버전 확인 방법 크롬 설정 -> 크롬 정보 클릭 2. 아래 구글드라이버 홈페이지로 이동해서 본인 크롬 브라우저 버전에 맞는 드라이버를 다운로드 해줍니다. ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 115 or newer, please consult th..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 웹크롤링 하는 방법에 대해서 포스팅하겠습니다. 맛집 지도를 만든다거나, 나만의 맛집 리스트를 만들기 위해 #다이닝코드, #네이버지도, #망고플레이트 등의 맛집 리스트를 확인할수 있는 웹사이트에서 다양하게 크롤링을 시도했었는데요. 제가 해본바로는 망고플레이트가 가장 쉬웠던 것 같습니다. (다이닝코드도 난이도는 비슷) 네이버지도는 동적이고 프레임도 많이 바꿔줘야 하기 때문에 어려운 점이 있지만, 네이버지도 리스트를 크롤링 할 수 있는 실력이 있다면, 맛집 뿐만 아니라 다양한 정보들을 크롤링 할 수 있는 장점이 있습니다. 네이버지도 크롤링 방법은 추후에... 구글 애드센스 승인 후에 업로드 하려고 아껴두고 있슴..^^: 그럼 시작하겠습니다! import re..

이번에는 실제로 파이썬을 이용해서 신경망을 만들어보겠습니다. sklearn을 사용할 것이며, sklearn함수들은 GPU를 사용하지 않기 때문에 복잡한 모델을 추정하려면 시간이 걸립니다. 하지만 이번에 해볼 간단한 구조의 다층퍼셉트론을 돌려보기엔 충분합니다! 복잡한 모델을 추정할 때는 텐서플로나 케라스 같은 도구를 사용하는 게 좋습니다. **텐서 플로나 케라스도 다음에 함께 알아보겠습니다. 필요한 라이브러리 임포트 # 수치 계산에 사용하는 라이브러리 import numpy as np import pandas as pd import scipy as sp # 통계 모델을 추정하는 라이브러리(워크닝이 나올 수도 있습니다) import statsmodels.formula.api as smf import stat..

TensorFlow는 딥러닝 및 기계 학습 모델을 구축하고 훈련시키기 위한 오픈 소스 라이브러리입니다. TensorFlow는 그래프 기반 계산을 수행하는 프레임워크로, 다양한 플랫폼에서 실행되는 모델의 개발과 배포를 지원합니다. TensorFlow는 다음과 같은 기능을 제공합니다: 1. 계산 그래프 (Computational Graph): TensorFlow는 계산 그래프라는 추상화 개념을 사용하여 모델을 표현합니다. 그래프는 연산자와 텐서(다차원 배열)를 노드로 가지며, 데이터의 흐름을 나타냅니다. 이를 통해 복잡한 모델을 구성하고 효율적으로 실행할 수 있습니다. 2. 다양한 플랫폼 지원: TensorFlow는 CPU, GPU, TPU 등 다양한 플랫폼에서 실행될 수 있습니다. 이는 고성능 컴퓨팅 자원..

이번에는 신경망의 기본적인 구조를 소개하겠습니다. 그리고 파이썬으로 구현을 하면서 헌형모델과 복잡한 머신러닝을 비교해볼께요! 신경망을 사용하는 예제에서는 붓꽃의 종을 판별하게 만들어보겠습니다. 붓꽃의 꽃받침 길이와 너비를 이용해서 붓꽃의 종류를 알아내는 예측 모델을 만들겠습니다. 입력 벡터, 목표 벡터, 가중치, 편향 통계모델과 머신러닝에서는 같은 뜻이지만 사용하는 용어가 다른 경우가 있습니다. - 독립변수는 머신러닝용어로 입력 벡터라고 합니다. - 종속변수는 목표 벡터라고 합니다. - 계수는 가중치라고 합니다. - 절편은 값이 항상 1인 독립변수로 볼 수 있으며, 편향이라고 합니다. 단순 퍼셉트론 단순 퍼셉트론은 아래 그림처럼 입력 벡터에 가중치(w1,w2,w3)가 반영된 값을 합해서 하나의 출력으로 ..

안녕하세요. 조신선입니다. sql을 다루시는 분들이나 db 관련 업무 하시다보면 대부분 확장자가 csv로 다운로드 됩니다. 내가 이걸 열면 괜찮은데, csv파일을 슬랙이나 다른 메신저로 공유하면 상대방이 열지 못 하는 경우가 굉장히 많더라구요. 그래서 일일이 확장자를 수동으로 변환해서 재공유하곤 했었는데요. 그게 너무 귀찮아서 파이썬으로 내가 원하는 파일에 있는 모든 파일의 csv 확장자를 찾아서 xlsx로 변환시키는 코드를 만들었습니다. 그래서 오늘은 파이썬을 활용해서 엑셀 확장자를 변환하는 방법에 대해서 포스팅하겠습니다. 아주 심플합니다. import os import pandas as pd # 맥북 다운로드 폴더 경로 download_dir = os.path.expanduser('~/Download..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 구글스프레드시트에 1. 파일을 생성하고 2. 워크시트를 추가하고 3. 데이터를 쓰고 4. 데이틀 활용해서 차트를 생성하고 5. 차트 위치 및 크기를 조정하고 6. 엑셀파일을 저장하는 방법에 대해 포스팅하겠습니다. 오늘 사용할 라이브러리는 gspread 입니다. vscode 환경에서 연습을 하신다면, 파일 확장자를 py가 아닌 ipynb(쥬피터환경)으로 하시는게 연습하시기 훨씬 편하십니다. gspread는 구글 스프레드시트와 상호 작용하기 위한 파이썬 라이브러리입니다. gspread를 사용하여 파이썬 코드에서 구글 스프레드시트를 열고, 데이터를 읽고 쓰며, 시트를 관리할 수 있습니다. 아래는 gspread를 사용하는 방법에 대한 자세한 설명입니다: 1. ..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 1. 파일을 생성하고 2. 워크시트를 추가하고 3. 데이터를 쓰고 4. 데이틀 활용해서 차트를 생성하고 5. 차트 위치 및 크기를 조정하고 6. 엑셀파일을 저장하는 방법에 대해 포스팅하겠습니다. 오늘 사용할 라이브러리는 xlwings 입니다. xlwings는 파이썬과 Microsoft Excel 간의 상호작용을 가능하게 해주는 라이브러리입니다. 이를 사용하여 파이썬에서 Excel 파일을 열고, 데이터를 읽고 쓰며, 매크로를 실행할 수 있습니다. 아래는 xlwings를 사용하여 간단한 예제를 보여드리겠습니다. 먼저, xlwings를 설치해야 합니다. 다음 명령을 사용하여 설치할 수 있습니다: pip install xlwings 설치를 완료하셨다면, 아래 ..

이전 포스팅과 연결되는 부분이 많아서 이전 포스팅을 태그 걸었습니다. 이번 포스팅에서는 머신러닝 실전을 해보겠습니다. [파이썬/통계] 통계학과 머신러닝 - 이론적인 부분들 (라소회귀, 리지회귀) 머신러닝 기본 머신러닝은 컴퓨터에 학습능력을 부여하는 것을 목적으로 한 연구 분야입니다. 학습은 데이터를 기반으로 행해져 데이터가 가지는 규칙성을 분명히 합니다. 규칙성을 분명히 함 jofresh.tistory.com 사이킷런 사이킷런은 파이썬에서 머신러닝을 적용하는 데 자주 사용되는 패키지입니다. sklearn이라고 줄여서 부르기도 합니다. pip install sklearn 위 코드를 통해서 설치해주면됩니다. 리지회귀/라소회귀 외에도 뉴럴네트워크나 서포트 벡터머신등 여러 방법에 사용할 수 있습니다. 필요한 라..

머신러닝 기본 머신러닝은 컴퓨터에 학습능력을 부여하는 것을 목적으로 한 연구 분야입니다. 학습은 데이터를 기반으로 행해져 데이터가 가지는 규칙성을 분명히 합니다. 규칙성을 분명히 함으로써 모르는 데이터의 예측 등에 활용됩니다. 규칙성을 분명히 함으로써 모르는 데이터의 예측 등에 활용됩니다. 지도학습 머신러닝은 크게 지도학습과 비지도학습으로 나누어집니다. 지도학습은 정답 데이터를 얻을 수 있는 문제를 다루는 학습입니다. 예를 들어 매상을 예측하는 경우 매상 데이터를 얻을 수 있다면 예측결과가 맞는지 문제가 있는지 평가할 수 있습니다. 이런 문제를 다루는 방법이 지도학습입니다. 정규선형모델이나 일반선형모델을 다룬 문제는 지도학습이라고 볼 수 있습니다. 우리는 지도학습을 배울겁니다. 비지도학습 비지도학습은 정..