Fresh life: 신선한 인생

맥OS에서 아나콘다(Anaconda)를 설치하는 방법은 다음과 같습니다: 아나콘다 웹사이트 접속하여 "macOS" 버전의 아나콘다 인스톨러를 다운로드합니다. Free Download | Anaconda Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 다운로드한 인스톨러 파일을 실행합니다. 일반적으로 .pkg 또는 .sh 확장자를 가집니다. 인스톨러를 실행하면 아나콘다 설치 마법사가 표시됩니다. 설치 마법사의 지시에 따라 진행합니다. 기본 설정을 그대로 따르는 것이 좋습니다. 설치 마법사가 완료..

안녕하세요. 조신선입니다. 회귀 분석은 이전에도 많이 다루어보았습니다. 예측 분석에서 가장 대표적인 방법이 회귀 분석이죠. 이번에는 조금 더 실용성있는 예제와 함께 회귀 분석에 대해서 알아보겠습니다. 데이터 분석은 늘 VSCODE로 작업하고, 일반 파이썬 환경이 아닌 쥬피터 환경이라 부르는 환경에서 진행합니다. 확장자가 'PY'가 아닌 'IPYNB'입니다. 회귀 분석이란?? 독립변수(x)와 종속변수(y) 간의 관계를 찾아내는 것입니다. 일차 방정식 ( Y = wX+b)로 예를 들 수 있습니다. 위 그래프에서 회귀 분석이란 실제 데이터(파란점)와 거리가 최소가 되는 방정식(선)을 찾아내는 것입니다. 즉, 방정식의 계수 w와 b를 잘 정의하는 것이라고 할 수 있습니다. 그렇다면 회귀 분석을 데이터 분석에 어..

이번 데이터마이닝 강의에서는 웹 크롤링으로 데이터를 수집하고, 키워드를 추출하여, 키워드 간의 연관 관계를 분석하고 이 결과를 시각화 해보도록 하겠습니다. 웹 크롤링으로 데이터 수집하기 '나무위키 최근 변경 페이지'의 텍스트 데이터를 크롤링으로 수집한 다음, 데이터 내에서 등장한 키워드의 출현 빈도를 분석해볼께요. 이를 통해 나무위키 페이지에서 가장 '핫한' 키워드가 무엇인지 분석할 수 있습니다. 웹 크롤링이란? 웹 페이지를 방문해서 페이지의 자료를 자동으로 수집하는 작업을 의미 합니다. 파이썬을 통해서 웹 크롤링을 진행하도록 할께요. 대상 페이지의 구조 살펴보기 크롤링을 위한 첫번째 단계는 인터넷 익스플로러, 크롬 등의 웹 브라우저를 실행하여 크롤링의 대상이 될 페이지 구조를 살펴보는 것 입니다. 먼저..

안녕하세요. 조신선입니다 비주얼스튜디오나 파이썬 설치 방법을 초반에 포스팅 했어야 했는데, 이제야 하게 되었습니다. 설치는 매우 간단하기 때문에 아래 설명대로 따라 하시면 금방 따라하실 거에요! 혹시 궁금하신 부분 있다면 댓글 남겨주세요 설치파일 다운로드 하기 VSCode 설치 파일 다운로드 - 공식 홈페이지로 접속 code.visualstudio.com/ - 본인의 OS에 맞는 설치 프로그램 다운로드 vscode 설치 - 라이센스 관련 동의 후 "다음" 클릭 - 설치 경로 선택 후 "다음" 클릭 - 설치 경로 확인 후 "다음" 클릭 - 시작 메뉴 관련 설정 후 "다음"클릭 - 추가 작업 설정 후 "다음" 클릭. 1) 아이콘 추가 : 바탕 화면에 VSCode 아이콘을 만들기 2) 두 번째, 세 번째 "c..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 웹크롤링 하는 방법 2탄에 대해서 포스팅하겠습니다. 2번째 코드입니다. 1번의 경우 맛집들의 주소를 크롤링 했다면, 2번째 코드는 1탄에서 크롤링한 주소에 접속해서 원하는 정보를 추출해서 csv 파일로 저장하는 코드라고 생각하시면 됩니다. import requests import scrapy from scrapy.http import TextResponse from selenium import webdriver import pandas as pd import json import time import datetime from selenium.webdriver.common.by import By from selenium.webdriver.common.ke..

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 웹크롤링 하는 방법에 대해서 포스팅하겠습니다. 맛집 지도를 만든다거나, 나만의 맛집 리스트를 만들기 위해 #다이닝코드, #네이버지도, #망고플레이트 등의 맛집 리스트를 확인할수 있는 웹사이트에서 다양하게 크롤링을 시도했었는데요. 제가 해본바로는 망고플레이트가 가장 쉬웠던 것 같습니다. (다이닝코드도 난이도는 비슷) 네이버지도는 동적이고 프레임도 많이 바꿔줘야 하기 때문에 어려운 점이 있지만, 네이버지도 리스트를 크롤링 할 수 있는 실력이 있다면, 맛집 뿐만 아니라 다양한 정보들을 크롤링 할 수 있는 장점이 있습니다. 네이버지도 크롤링 방법은 추후에... 구글 애드센스 승인 후에 업로드 하려고 아껴두고 있슴..^^: 그럼 시작하겠습니다! import re..

이번에는 실제로 파이썬을 이용해서 신경망을 만들어보겠습니다. sklearn을 사용할 것이며, sklearn함수들은 GPU를 사용하지 않기 때문에 복잡한 모델을 추정하려면 시간이 걸립니다. 하지만 이번에 해볼 간단한 구조의 다층퍼셉트론을 돌려보기엔 충분합니다! 복잡한 모델을 추정할 때는 텐서플로나 케라스 같은 도구를 사용하는 게 좋습니다. **텐서 플로나 케라스도 다음에 함께 알아보겠습니다. 필요한 라이브러리 임포트 # 수치 계산에 사용하는 라이브러리 import numpy as np import pandas as pd import scipy as sp # 통계 모델을 추정하는 라이브러리(워크닝이 나올 수도 있습니다) import statsmodels.formula.api as smf import stat..

TensorFlow는 딥러닝 및 기계 학습 모델을 구축하고 훈련시키기 위한 오픈 소스 라이브러리입니다. TensorFlow는 그래프 기반 계산을 수행하는 프레임워크로, 다양한 플랫폼에서 실행되는 모델의 개발과 배포를 지원합니다. TensorFlow는 다음과 같은 기능을 제공합니다: 1. 계산 그래프 (Computational Graph): TensorFlow는 계산 그래프라는 추상화 개념을 사용하여 모델을 표현합니다. 그래프는 연산자와 텐서(다차원 배열)를 노드로 가지며, 데이터의 흐름을 나타냅니다. 이를 통해 복잡한 모델을 구성하고 효율적으로 실행할 수 있습니다. 2. 다양한 플랫폼 지원: TensorFlow는 CPU, GPU, TPU 등 다양한 플랫폼에서 실행될 수 있습니다. 이는 고성능 컴퓨팅 자원..

이번에는 신경망의 기본적인 구조를 소개하겠습니다. 그리고 파이썬으로 구현을 하면서 헌형모델과 복잡한 머신러닝을 비교해볼께요! 신경망을 사용하는 예제에서는 붓꽃의 종을 판별하게 만들어보겠습니다. 붓꽃의 꽃받침 길이와 너비를 이용해서 붓꽃의 종류를 알아내는 예측 모델을 만들겠습니다. 입력 벡터, 목표 벡터, 가중치, 편향 통계모델과 머신러닝에서는 같은 뜻이지만 사용하는 용어가 다른 경우가 있습니다. - 독립변수는 머신러닝용어로 입력 벡터라고 합니다. - 종속변수는 목표 벡터라고 합니다. - 계수는 가중치라고 합니다. - 절편은 값이 항상 1인 독립변수로 볼 수 있으며, 편향이라고 합니다. 단순 퍼셉트론 단순 퍼셉트론은 아래 그림처럼 입력 벡터에 가중치(w1,w2,w3)가 반영된 값을 합해서 하나의 출력으로 ..

안녕하세요. 조신선입니다. sql을 다루시는 분들이나 db 관련 업무 하시다보면 대부분 확장자가 csv로 다운로드 됩니다. 내가 이걸 열면 괜찮은데, csv파일을 슬랙이나 다른 메신저로 공유하면 상대방이 열지 못 하는 경우가 굉장히 많더라구요. 그래서 일일이 확장자를 수동으로 변환해서 재공유하곤 했었는데요. 그게 너무 귀찮아서 파이썬으로 내가 원하는 파일에 있는 모든 파일의 csv 확장자를 찾아서 xlsx로 변환시키는 코드를 만들었습니다. 그래서 오늘은 파이썬을 활용해서 엑셀 확장자를 변환하는 방법에 대해서 포스팅하겠습니다. 아주 심플합니다. import os import pandas as pd # 맥북 다운로드 폴더 경로 download_dir = os.path.expanduser('~/Download..