Vì sao quan trọng. Khác sigmoid (tâm 0.5), tanh canh quanh 0 nên trung bình kích hoạt gần 0 → tín hiệu cân bằng hơn,
hội tụ nhanh hơn. Là kích hoạt chủ lực trong cổng/trạng thái của LSTM, GRU.
💡 Trực giác
Giống sigmoid nhưng đặt giữa ở 0: âm → kéo về −1, dương → kéo về +1. Nhờ đối xứng, đầu ra "có hướng" (âm/dương) chứ không
chỉ "mạnh/yếu" như sigmoid.
0
Cho sẵn + bảng tra tanh
z = 1
z
−1
0
0.5
1
2
tanh(z)
−0.76
0
0.46
0.76
0.96
Bảng cho sẵn; mọi câu hỏi rơi đúng mốc. Để ý tanh là hàm lẻ: tanh(−z) = −tanh(z).
1
Giá trị tanh(z)
tra bảng
tanh(1) =
Vì sao: ra trong (−1, 1); dấu giữ nguyên dấu z → giữ "hướng" tín hiệu.
2
Đạo hàm tanh'(z) = 1 − tanh²
dùng lại tanh
tanh'(1) = 1 − 0.76² = 1 − 0.58 =
Dùng chính giá trị tanh vừa tra, không cần đạo hàm lại từ đầu.
3
Đỉnh đạo hàm & bão hòa
≤ 1
tại z = 0: 1 − 0² = (lớn nhất)
tại z = 2: 1 − 0.96² = (đã teo)
Vì sao: đỉnh đạo hàm tanh = 1 (gấp 4 lần sigmoid) → gradient mạnh hơn quanh 0, nhưng vẫn bão hòa ở hai biên.
✎ Tự kiểm tra
Miền giá trị của tanh? →
Đạo hàm tanh lớn nhất bằng? →
Làm toán AI ✍️ — Bài C3 · Tanh & đạo hàmTrang 1/2 · ĐỀ
Đường cam = tanh (qua gốc, đối xứng quanh 0); đường lam = σ (qua 0.5). Hệ thức: tanh(z) = 2σ(2z) − 1.
Cả hai vẫn bão hòa → mạng sâu chuộng ReLU (Bài C4).
✎ Tự kiểm tra — đáp án
Miền tanh? → (−1, 1).
Đạo hàm lớn nhất? → 1 (tại z = 0).
Rút ra. tanh = S đối xứng quanh 0, đạo hàm 1 − tanh², đỉnh 1. Mạnh hơn sigmoid quanh 0 nhưng vẫn bão hòa.
Bài tiếp (C9): đếm tổng tham số của một mạng.
Làm toán AI ✍️ — Bài C3 · Tanh & đạo hàmTrang 2/2 · ĐÁP ÁN