Vì sao quan trọng. Số tham số quyết định bộ nhớ, tốc độ, nguy cơ overfit. Biết đếm giúp ước lượng chi phí một
kiến trúc và hiểu vì sao mô hình lớn cần nhiều dữ liệu/điện.
Một lớp (in → out): params = in·out (trọng số) + out (bias) Tổng = Σ qua mọi lớp
💡 Trực giác
Mỗi nơ-ron ở lớp sau nối tới mọi nơ-ron lớp trước → một trọng số cho mỗi dây; cộng thêm một bias cho mỗi nơ-ron.
Lớp càng rộng và nối càng dày, số dây (tham số) phình theo tích in × out.
0
Cho sẵn kiến trúc
3 → 4 → 2
đầu vào 3 · lớp ẩn 4 nơ-ron · đầu ra 2 nơ-ron (fully-connected)
Hai lớp có trọng số: (đầu vào → ẩn) và (ẩn → đầu ra). Đếm cả bias.
1
Lớp 1 (3 → 4)
in·out + out
trọng số = 3·4 = ;
bias = ;
cộng =
Vì sao:4 nơ-ron, mỗi nơ-ron có 3 trọng số (một cho mỗi đầu vào) + 1 bias.
2
Lớp 2 (4 → 2)
in·out + out
trọng số = 4·2 = ;
bias = ;
cộng =
3
Tổng toàn mạng
cộng dồn
Tổng = 16 + 10 =
Cộng tham số mọi lớp; đừng quên bias (out cái mỗi lớp).
4
Vì sao mô hình thật có tỉ tham số?
quy mô
Một lớp 1000 → 1000 đã có ~1 triệu tham số (10⁶). Xếp hàng trăm lớp rộng 4096 + bảng embedding khổng lồ → hàng tỉ.
Tham số phình theo tích in × out của từng lớp.
✎ Tự kiểm tra
Lớp in→out có bao nhiêu bias? →
Yếu tố nào làm tham số tăng nhanh nhất? →
Làm toán AI ✍️ — Bài C9 · Đếm tham số mạngTrang 1/2 · ĐỀ
Làm toán AI ✍️ · Toán × AI
ĐÁP ÁN
Bài C9
Đếm tham số mạng — lời giải
1
Lớp 1 (3 → 4)
trọng số = 3·4 = 12 ;
bias = 4 ;
cộng = 16
2
Lớp 2 (4 → 2)
trọng số = 4·2 = 8 ;
bias = 2 ;
cộng = 10
3
Tổng
Tổng = 16 + 10 = 26 tham số
▦
Sơ đồ mạng & số dây
in × out
Mỗi dây = một trọng số (12 + 8 dây);
mỗi nơ-ron lớp sau thêm một bias (4 + 2). Tổng = 26.
✎ Tự kiểm tra — đáp án
Bao nhiêu bias? → out (một bias mỗi nơ-ron đầu ra).
Tăng nhanh nhất do? → Tích in×out — lớp rộng nối dày.
Rút ra. Tham số mỗi lớp = in·out + out; tổng cộng dồn. Đây là "thước đo cỡ" mô hình. Hết Phần C nền;
sang K2 — Bài tiếp (D1): đo sai số bằng MSE / MAE.
Làm toán AI ✍️ — Bài C9 · Đếm tham số mạngTrang 2/2 · ĐÁP ÁN