Vì sao quan trọng. Phân loại nhị phân = Bernoulli; phân loại nhiều lớp = Categorical. Hiểu hai phân phối này là hiểu
mô hình nói gì ở đầu ra, và vì sao cross-entropy đo sai lệch giữa dự đoán và nhãn.
💡 Trực giác
Bernoulli = một đồng xu lệch (mặt 1 ra với xác suất p). Categorical = một con xúc xắc lệch K mặt. Softmax biến điểm
số thô (logit) thành đúng một con xúc xắc lệch như vậy — các mặt cộng lại bằng 1.
0
Cho sẵn
p · K=3
Bernoulli: p = 0.7 |
Categorical (3 lớp): p = ( 0.2, 0.5, 0.3 )
Một con số p cho Bernoulli; một vectơ 3 số cho Categorical (đầu ra softmax 3 lớp).
1
Bernoulli đầy đủ
1 tham số
P(0) = 1 − 0.7 = ;
E[X] = ;
Var = 0.7·0.3 =
Vì sao: chỉ một tham số p quyết định tất cả; phương sai lớn nhất tại p = 0.5 (bất định nhất).
2
Kiểm Categorical hợp lệ
Σ = 1?
0.2 + 0.5 + 0.3 = (mọi pₖ ≥ 0)
Thiếu hoặc thừa 1 là phân phối sai — softmax luôn đảm bảo tổng đúng 1.
3
Dự đoán & "độ tự tin"
argmax
argmax = lớp ; độ tự tin = pₖ lớn nhất =
Vì sao: mô hình chọn lớp xác suất cao nhất; giá trị đó đi vào cross-entropy −ln pₖ.
4
Nối với softmax / one-hot
nhãn thật
Nhãn thật (lớp 2) dạng one-hot = ( , , )
Categorical dự đoán được so với one-hot này; càng khớp → cross-entropy càng nhỏ.
✎ Tự kiểm tra
Bernoulli khác Categorical ở đâu? →
Tổng xác suất Categorical phải bằng? →
Làm toán AI ✍️ — Bài A17 · Bernoulli / CategoricalTrang 1/2 · ĐỀ
argmax = lớp 2 ; độ tự tin = 0.5 → cross-entropy = −ln 0.5
4
One-hot & so với dự đoán
one-hot (lớp 2) = ( 0, 1, 0 )
Cột lam = Categorical dự đoán; cột cam = nhãn one-hot. Loss kéo cột lam ở lớp đúng lên gần 1.
✎ Tự kiểm tra — đáp án
Khác nhau? → Bernoulli: 2 kết cục; Categorical: K lớp.
Tổng Categorical? → 1.
Rút ra. Bernoulli/Categorical là "ngôn ngữ đầu ra" của bộ phân loại; softmax tạo ra Categorical, one-hot là nhãn thật.
Bài tiếp (A18): exp & log — hai hàm đứng sau softmax và cross-entropy, làm tay bằng bảng tra.
Làm toán AI ✍️ — Bài A17 · Bernoulli / CategoricalTrang 2/2 · ĐÁP ÁN