Vì sao quan trọng. Hàm mất mát phụ thuộc hàng triệu trọng số. Gradient gói toàn bộ "độ nhạy theo từng trọng số"
vào một vectơ; trừ nó (× học suất) là một bước huấn luyện. Đây là động cơ tối ưu của mọi mạng nơ-ron.
∇f = ( ∂f/∂x , ∂f/∂y ) bước học: w ← w − η · ∇f
💡 Trực giác
Đứng trên một quả đồi (mặt hàm). Gradient là mũi tên chỉ hướng dốc lên gắt nhất. Muốn xuống đáy (loss nhỏ) thì
bước ngược mũi tên đó. Độ dài mũi tên = độ dốc.
0
Cho sẵn hàm hai biến
f(x, y)
f = x² + xy + y² ; xét tại ( 1, 2 )
Mục tiêu: đạo hàm riêng theo từng biến, gom thành ∇f, rồi đi một bước gradient descent.
1
Đạo hàm riêng ∂f/∂x
coi y là hằng
∂f/∂x = 2x + y = (tổng quát)
tại ( 1, 2 ): =
Vì sao: đạo hàm riêng = "đổi một biến, giữ nguyên biến kia" — đo độ nhạy theo đúng trục đó.
2
Đạo hàm riêng ∂f/∂y
coi x là hằng
∂f/∂y = x + 2y =
tại ( 1, 2 ): =
3
Gom thành ∇f
vectơ
∇f( 1, 2 ) = ( , )
Thứ tự thành phần khớp thứ tự biến: x trước, y sau.
4
Một bước gradient descent
η = 0.1
(x, y) ← ( 1, 2 ) − 0.1·( 4, 5 )
= ( , )
Vì sao: trừ gradient kéo điểm về phía f nhỏ hơn; η nhỏ để không "vọt qua" đáy.
✎ Tự kiểm tra
Gradient là một số hay vectơ? →
Để giảm f, đi theo hay ngược ∇? →
Làm toán AI ✍️ — Bài A14 · Gradient hàm nhiều biếnTrang 1/2 · ĐỀ
Làm toán AI ✍️ · Toán × AI
ĐÁP ÁN
Bài A14
Gradient hàm nhiều biến — lời giải
1
∂f/∂x
∂f/∂x = 2x + y = 2x + y;
tại ( 1, 2 ) = 4
2
∂f/∂y
∂f/∂y = x + 2y = x + 2y;
tại ( 1, 2 ) = 5
3
∇f
∇f( 1, 2 ) = ( 4, 5 )
4
Một bước GD
( 1, 2 ) − 0.1·( 4, 5 )
= ( 0.6, 1.5 )
▦
Đường đồng mức & bước −∇
xuống dốc
Các vòng = đường đồng mức (f bằng nhau); mũi tên cam = −∇f tại điểm, chỉ về phía đáy.
Bước theo −∇ làm f giảm; η quyết định bước dài/ngắn.
✎ Tự kiểm tra — đáp án
Số hay vectơ? → Vectơ — mỗi thành phần là một đạo hàm riêng.
Giảm f? → Đi ngược ∇ (hướng dốc xuống).
Rút ra. Gradient = vectơ đạo hàm riêng = hướng tăng nhanh nhất; trừ nó là một bước học. Bài tiếp (A15): khi đầu ra là
vectơ nhiều thành phần, bảng đạo hàm riêng trở thành ma trận Jacobian.
Làm toán AI ✍️ — Bài A14 · Gradient hàm nhiều biếnTrang 2/2 · ĐÁP ÁN