Hồi quy logistic 1 bước — Logistic Regression

Họ tên: Ngày: Thời gian: ~13 phút

Vì sao quan trọng. Phân loại "có/không" cần đầu ra trong [0,1]. Sigmoid ép điểm thô z về xác suất; BCE phạt khi xác suất lệch nhãn. Đây là viên gạch của mọi bộ phân loại và của nơ-ron đầu ra nhị phân.

z = w·x + b | p = σ(z) = 1/(1+e^−z) | BCE = −[y·ln p + (1−y)·ln(1−p)] | ∂L/∂z = p − y

💡 Trực giác Sigmoid là cái nén hình chữ S: điểm rất âm → ~0, rất dương → ~1, quanh 0 → ~0.5 (lưỡng lự). p là "độ tin" mô hình nghĩ mẫu thuộc lớp 1.

Cho sẵn & bảng tra

tra cứu

w = 0.5, x = 2, b = 0, nhãn y = 1.
Bảng σ: σ(−1)=0.27 · σ(0)=0.5 · σ(1)=0.73 · σ(2)=0.88 | ln: ln(0.27)=−1.31 · ln(0.5)=−0.69 · ln(0.73)=−0.31 · ln(0.88)=−0.13

Điểm tuyến tính z

w·x + b

z = 0.5·2 + 0 =

Vì sao: phần tuyến tính y hệt B2; sigmoid chỉ thêm "ép về xác suất".

Xác suất p = σ(z)

tra bảng

p = σ(1) =

Mẹo: σ luôn trong (0,1), không bao giờ chạm 0/1.

BCE loss & gradient

p − y

y = 1 → BCE = −ln p = −ln(0.73) =
∂L/∂z = p − y = 0.73 − 1 =
∂L/∂w = (p−y)·x =

Vì sao: dạng p − y cực gọn — lý do người ta ghép sigmoid với BCE (giống softmax + CE, Bài D9).

✎ Tự kiểm tra

Đầu ra sigmoid nằm trong khoảng nào? →
Vì sao gradient ra gọn p − y? →

Làm toán AI ✍️ — Bài B3 · Hồi quy logisticTrang 1/2 · ĐỀ

Làm toán AI ✍️ · Toán × AI

ĐÁP ÁN

Bài B3

Hồi quy logistic — lời giải & kiểm tra

Điểm z

z = 0.5·2 + 0 = 1

Xác suất

p = σ(1) = 0.73

BCE & gradient

BCE = −ln(0.73) = 0.31 | p − y = −0.27 | ∂L/∂w = (p−y)·x = −0.54

p − y < 0 (đoán hơi thấp cho nhãn 1) → cập nhật w ← w − η·(∂L/∂w) sẽ tăng w → đẩy p về gần 1.

✎ Tự kiểm tra — đáp án

Đầu ra sigmoid → (0, 1) — một xác suất
Gradient gọn p − y vì → sigmoid + BCE triệt tiêu phần phức tạp khi lấy đạo hàm

Rút ra. Logistic = tuyến tính → sigmoid → BCE, gradient gọn p − y. Đây là một nơ-ron phân loại hoàn chỉnh. Bài tiếp (B4): một bộ phân loại không cần học tham số — k-NN.

Làm toán AI ✍️ — Bài B3 · Hồi quy logisticTrang 2/2 · ĐÁP ÁN