[ML] 로지스틱 회귀 개념 정리

[목차]

1. 로지스틱 회귀 정의
2. 시그모이드 함수
3. Odds(오즈 또는 승산) 및 Odds Ratio(오즈비 또는 승산비)
4. Logit

1. 로지스틱 회귀 정의

---

로지스틱 회귀를 사용하여 데이터가 어떤 범주에 속할 확률을 0 or 1 값으로 예측하고 그 확률에 따라 가능성이 더 높은 범주에 속하는 것으로 분류해 주는 지도 학습 알고리즘입니다.

예를 들어, 스팸 메일 판단(스팸 or 정상), 제품 불량 여부(정상 or 불량) 등의 사례가 있습니다.

 

2. 시그모이드 함수 (Sigmoid Function)

---

로지스틱 회귀에서는 확률을 0에서 1 사이의 커브 모양으로 나타내야 하는데, 이걸 가능하게 하는 하는 것이 시그모이드 함수입니다.

위에서 구한 log-odds를 Sigmoid 함수에 넣어서 0부터 1 사이의 값으로 변환해 주는 거다.

여기서 e^(-z)는 지수 함수이고, numpy에서 np.exp(-z)로 쉽게 계산할 수 있다.

3. Odds(오즈 또는 승산) 및 Odds Ratio (오즈비 또는 승산비)

---

Odds(오즈 또는 승산)

Odds란 "어떤 사건이 일어날 확률을 그 사건이 일어나지 않을 확률로 나눈 것"이다. 아래와 같이 어떠한 사건이 발생할 확률을 p라고 했을 때 Odds의 계산식은 다음과 같다.

 

Odds Ratio (오즈비 또는 승산비)

Odds Ratio란 "한 그룹에서의 Odds를 다른 그룹에서의 Odds로 나눠준 것"이다. (예를 들어 위험인자에 노출된 사람 중에서 암환자인 오즈 값을 위험인자에 노출되지 않은 사람 중에서 암환자인 오즈값으로 나눠준 것입니다.)

Odds는 2가지 한계가 존재합니다.

    1. 0 < odds < ∞의 범위에 속하기 때문에, 범위의 제약이 있습니다.

    2. 확률값과 odds값은 비대칭성을 보입니다.

4. Logit

---

위 Odds의 한계를 극복하기 위해 로그함수를 취하는 것이다.

그렇게 log(odds)의 범위는 아래와 같이 형성됩니다.

대칭성 또한 가지게 되며 성공확률이 0.5를 기준으로 양수와 음수를 가지게 됩니다.