분류 전체보기 164

사이킷런을 활용한 머신러닝(model_selection / preprocessing) - 선형모델과 신경망_[파이썬/머신러닝]

이번에는 신경망의 기본적인 구조를 소개하겠습니다. 그리고 파이썬으로 구현을 하면서 헌형모델과 복잡한 머신러닝을 비교해볼께요! 신경망을 사용하는 예제에서는 붓꽃의 종을 판별하게 만들어보겠습니다. 붓꽃의 꽃받침 길이와 너비를 이용해서 붓꽃의 종류를 알아내는 예측 모델을 만들겠습니다. 입력 벡터, 목표 벡터, 가중치, 편향 통계모델과 머신러닝에서는 같은 뜻이지만 사용하는 용어가 다른 경우가 있습니다. - 독립변수는 머신러닝용어로 입력 벡터라고 합니다. - 종속변수는 목표 벡터라고 합니다. - 계수는 가중치라고 합니다. - 절편은 값이 항상 1인 독립변수로 볼 수 있으며, 편향이라고 합니다. 단순 퍼셉트론 단순 퍼셉트론은 아래 그림처럼 입력 벡터에 가중치(w1,w2,w3)가 반영된 값을 합해서 하나의 출력으로 ..

파이썬으로 파일 확장자 자동 변환하기(csv -> xlsx) & 파일 삭제하기_[파이썬/엑셀]

안녕하세요. 조신선입니다. sql을 다루시는 분들이나 db 관련 업무 하시다보면 대부분 확장자가 csv로 다운로드 됩니다. 내가 이걸 열면 괜찮은데, csv파일을 슬랙이나 다른 메신저로 공유하면 상대방이 열지 못 하는 경우가 굉장히 많더라구요. 그래서 일일이 확장자를 수동으로 변환해서 재공유하곤 했었는데요. 그게 너무 귀찮아서 파이썬으로 내가 원하는 파일에 있는 모든 파일의 csv 확장자를 찾아서 xlsx로 변환시키는 코드를 만들었습니다. 그래서 오늘은 파이썬을 활용해서 엑셀 확장자를 변환하는 방법에 대해서 포스팅하겠습니다. 아주 심플합니다. import os import pandas as pd # 맥북 다운로드 폴더 경로 download_dir = os.path.expanduser('~/Download..

programming/Python 2023.05.30

파이썬으로 구글스프레드시트 작성하기(with gspread 라이브러리)_[파이썬/구글시트]

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 구글스프레드시트에 1. 파일을 생성하고 2. 워크시트를 추가하고 3. 데이터를 쓰고 4. 데이틀 활용해서 차트를 생성하고 5. 차트 위치 및 크기를 조정하고 6. 엑셀파일을 저장하는 방법에 대해 포스팅하겠습니다. 오늘 사용할 라이브러리는 gspread 입니다. vscode 환경에서 연습을 하신다면, 파일 확장자를 py가 아닌 ipynb(쥬피터환경)으로 하시는게 연습하시기 훨씬 편하십니다. gspread는 구글 스프레드시트와 상호 작용하기 위한 파이썬 라이브러리입니다. gspread를 사용하여 파이썬 코드에서 구글 스프레드시트를 열고, 데이터를 읽고 쓰며, 시트를 관리할 수 있습니다. 아래는 gspread를 사용하는 방법에 대한 자세한 설명입니다: 1. ..

programming/Python 2023.05.30

파이썬으로 엑셀 파일 생성/쓰기/차트생성/저장하기_[파이썬/엑셀]

안녕하세요. 조신선입니다. 오늘은 파이썬을 활용해서 1. 파일을 생성하고 2. 워크시트를 추가하고 3. 데이터를 쓰고 4. 데이틀 활용해서 차트를 생성하고 5. 차트 위치 및 크기를 조정하고 6. 엑셀파일을 저장하는 방법에 대해 포스팅하겠습니다. 오늘 사용할 라이브러리는 xlwings 입니다. xlwings는 파이썬과 Microsoft Excel 간의 상호작용을 가능하게 해주는 라이브러리입니다. 이를 사용하여 파이썬에서 Excel 파일을 열고, 데이터를 읽고 쓰며, 매크로를 실행할 수 있습니다. 아래는 xlwings를 사용하여 간단한 예제를 보여드리겠습니다. 먼저, xlwings를 설치해야 합니다. 다음 명령을 사용하여 설치할 수 있습니다: pip install xlwings 설치를 완료하셨다면, 아래 ..

programming/Python 2023.05.30

레이달리오_내가 생각하는 것은 1) 중미 관계, 2) 다른 국가와의 관계, 3) 중국에서 진행되고 있습니다.

본포스팅은 레이달리오가 [원칙에 입각한 관점]이라는 본인의 채널에 올리는 포스팅 내용을 번역하여 포스팅 합니다. 오늘 포스팅은 제가 약속드린 후속편으로, 강대국의 갈등과 중국에서 벌어지고 있는 일에 초점을 맞췄습니다. 거의 40년 동안 나는 중국에 갔다. 나는 그곳에서 매우 친밀한 우정을 쌓았고 돈을 추구하는 것이 아니라 의미 있는 일과 의미 있는 관계를 추구하면서 그 진화에 참여했습니다. 나는 두 가지 모두를 즐겼고 친구들과 함께 느낄 수 있는 것처럼 도움을 주고자 하는 깊은 헌신을 느꼈습니다. 이로 인해 나는 서로 전쟁을 하기 직전인 세계에서 가장 큰 두 강대국에 깊이 애착을 갖는 특권적이고 어색한 위치에 있게 되었습니다. 나는 서로를 돕는 과정에서 어느 한 쪽도 상처받지 않으려고 노력하면서 양쪽 모..

economy 2023.05.30

사이킷런을 활용한 머신러닝(linear_model) - 릿지 회귀와 라소회귀 최적의 정규화 강도 결정_[파이썬/머신러닝]

이전 포스팅과 연결되는 부분이 많아서 이전 포스팅을 태그 걸었습니다. 이번 포스팅에서는 머신러닝 실전을 해보겠습니다. [파이썬/통계] 통계학과 머신러닝 - 이론적인 부분들 (라소회귀, 리지회귀) 머신러닝 기본 머신러닝은 컴퓨터에 학습능력을 부여하는 것을 목적으로 한 연구 분야입니다. 학습은 데이터를 기반으로 행해져 데이터가 가지는 규칙성을 분명히 합니다. 규칙성을 분명히 함 jofresh.tistory.com 사이킷런 사이킷런은 파이썬에서 머신러닝을 적용하는 데 자주 사용되는 패키지입니다. sklearn이라고 줄여서 부르기도 합니다. pip install sklearn 위 코드를 통해서 설치해주면됩니다. 리지회귀/라소회귀 외에도 뉴럴네트워크나 서포트 벡터머신등 여러 방법에 사용할 수 있습니다. 필요한 라..

[파이썬/머신러닝] 통계학과 머신러닝 - 이론적인 부분들 (라소회귀, 릿지회귀)

머신러닝 기본 머신러닝은 컴퓨터에 학습능력을 부여하는 것을 목적으로 한 연구 분야입니다. 학습은 데이터를 기반으로 행해져 데이터가 가지는 규칙성을 분명히 합니다. 규칙성을 분명히 함으로써 모르는 데이터의 예측 등에 활용됩니다. 규칙성을 분명히 함으로써 모르는 데이터의 예측 등에 활용됩니다. 지도학습 머신러닝은 크게 지도학습과 비지도학습으로 나누어집니다. 지도학습은 정답 데이터를 얻을 수 있는 문제를 다루는 학습입니다. 예를 들어 매상을 예측하는 경우 매상 데이터를 얻을 수 있다면 예측결과가 맞는지 문제가 있는지 평가할 수 있습니다. 이런 문제를 다루는 방법이 지도학습입니다. 정규선형모델이나 일반선형모델을 다룬 문제는 지도학습이라고 볼 수 있습니다. 우리는 지도학습을 배울겁니다. 비지도학습 비지도학습은 정..

[파이썬/통계] Python 통계 : 푸아송 회귀(회귀계수 해석)

푸아송 회귀란 확률분포에 푸아송 분포를 사용하고, 링크함수에 로그함수를 사용한 일반선형모델입니다. 독립변수는 여러 개 있어도 상관없고, 연속형과 카테고리형이 혼재되어 있어도 됩니다. WOW~~ ※복습 [파이썬/통계] Python 통계 : 일반선형모델 기본/ 로지스틱회귀 모델/null 모델 일반선형모델의 기본 예를 들어'있다, 없다'라는 두 개의 값만 취하는 데이터나 '1개,2개,3개'등 0 이상의 정수만 취하는 데이터가 있다면 모집단분포가 정규분포라고 가정하기에는 무리가 있습 jofresh.tistory.com 필요한 라이브러리 임포트 # 수치 계산에 사용하는 라이브러리 import numpy as np import pandas as pd import scipy as sp from scipy import..

[파이썬/통계] Python 통계 : 일반선형모델 평가(잔차제곱합 구하는 이유)

정규선형모델에서 배운것 처럼(아래 이전 포스팅 참조) 모델을 평가할 때는 잔차를 필수로 체크해야합니다. 다만, 모집단분포가 정규분포 이외의 분포가 되면 잔차의 취급이 크게 바뀌게 됩니다. 이번에는 일반선형모델에서의 잔차 취급을 알아보겠습니다. 잔차는 데이터와 모델의 괴리를 표현하는 중요한 지표입니다. [파이썬/통계] Python 통계 : 정규 선형모델 /연속형 독립변수가 하나인 모델(단순회귀) 필요한 라이브러리 임포트 # 수치 계산에 사용하는 라이브러리 import numpy as np import pandas as pd import scipy as sp from scipy import stats # 그래프를 그리는 라이브러리 from matplotlib import pyplot as plt import..