[파이썬/머신러닝] 로지스틱 회귀 알고리즘의 유형

로지스틱 회귀 알고리즘은 이진 분류 문제에 많이 사용되는 머신러닝 알고리즘 중 하나입니다. 로지스틱 회귀 알고리즘을 구현할 때, 최적화 알고리즘을 선택할 수 있는데, 그 중에서도 liblinear, newton-cg, lbfgs, sag, saga가 많이 사용됩니다. 각 알고리즘에 대해 간단하게 설명해보겠습니다.

728x90

1. liblinear:

특징: 이 알고리즘은 작은 데이터셋에 적합하며, L1 정규화와 L2 정규화를 모두 지원합니다.
적용 분야: 작은 규모의 데이터셋이나 고차원 데이터에 적합합니다.

2. newton-cg:

특징: 뉴턴 메서드를 사용하여 비용 함수를 최적화합니다. L2 정규화를 지원하며, 다변수 최적화에 효과적입니다.
적용 분야: 중간 규모의 데이터셋에서 잘 동작하며, 다차원 최적화 문제에 적합합니다.

3. lbfgs (Limited-memory Broyden-Fletcher-Goldfarb-Shanno):

특징: 제한된 메모리를 사용하여 BFGS 방법을 구현한 것으로, 대규모 데이터셋에 적합합니다.
적용 분야: 대규모 데이터셋에서 효과적으로 사용할 수 있습니다.

4. sag (Stochastic Average Gradient):

특징: 확률적 경사 하강법의 변종으로, 반복 단계에서 랜덤하게 선택된 일부 샘플의 그래디언트를 평균화하여 최적화합니다. 대용량 데이터셋에 효과적입니다.
적용 분야: 대용량 데이터셋에서 빠른 수렴이 필요한 경우에 유용합니다.

5. saga (SAGA - Shuffling Approximate Gradient Descent):

특징: sag의 개선 버전으로, L1 정규화와 L2 정규화를 모두 지원하며, 다중 코어를 활용하여 더 빠른 수렴을 제공합니다.
적용 분야: 대용량 데이터셋에서 높은 성능이 필요한 경우에 적합합니다.
이 알고리즘들은 데이터의 특성과 크기에 따라 다르게 선택되어야 합니다. 데이터의 크기, 특성, 그리고 모델의 복잡성 등을 고려하여 적절한 알고리즘을 선택하는 것이 중요합니다.

 

 

 

** 관련 이전글

2023.05.22 - [programming/파이썬으로 배우는 통계학] - [파이썬/통계] Python 통계 : 일반선형모델 기본/ 로지스틱회귀 모델/null 모델

[파이썬/통계] Python 통계 : 일반선형모델 기본/ 로지스틱회귀 모델/null 모델

 

2023.07.03 - [programming/Python] - 야구선수 연봉 예측하기_회귀 분석,사이킷런 미래 예측_파이썬/데이터분석

야구선수 연봉 예측하기_회귀 분석,사이킷런 미래 예측_파이썬/데이터분석