Bài 5 — Đứng trên núi sương mù, làm sao từng bước đi xuống thung lũng?

Hãy tưởng tượng bạn bị thả xuống một sườn núi lúc sương mù dày đặc. Bạn không thấy gì quá một mét quanh chân. Nhiệm vụ: xuống tới đáy thung lũng.

Không có bản đồ. Không thấy đỉnh, không thấy đáy. Bạn chỉ làm được đúng một việc: dùng chân cảm nhận xem mặt đất dốc về phía nào, rồi bước một bước về phía dốc xuống. Rồi lặp lại.

Cách làm ngây thơ đó chính là thuật toán đang huấn luyện mọi mô hình AI trên thế giới. Tên nó là Gradient Descent, và "cảm nhận độ dốc" có một tên khác trong Toán 11: đạo hàm.

Vì sao không dùng công thức đỉnh như Bài 4?

Ở Bài 4 ta tìm được giá trị tốt nhất bằng công thức $\dfrac{-b}{2a}$ trong đúng một dòng. Vậy tại sao còn cần dò từng bước?

Vì mô hình thật không có một tham số mà có hàng tỉ. GPT-4 có khoảng $10^{12}$ tham số. Hàm mất mát khi ấy là một "mặt" trong không gian hàng tỉ chiều, và không tồn tại công thức đỉnh nào cho nó.

Điều duy nhất còn tính được là độ dốc tại chỗ đang đứng. Và hoá ra chỉ cần thế.

Ý tưởng: đạo hàm cho biết nên đi hướng nào

Ta dùng lại đúng hàm mất mát của Bài 4:

Đạo hàm — theo đúng quy tắc Toán 11:

Ý nghĩa hình học của đạo hàm là hệ số góc của tiếp tuyến. Từ đó đọc ra ba trường hợp:

Dấu của $L'(a)$	Tiếp tuyến	Phải làm gì
$L'(a) > 0$	dốc lên khi đi sang phải	lùi sang trái
$L'(a) < 0$	dốc xuống khi đi sang phải	tiến sang phải
$L'(a) = 0$	nằm ngang	đã tới đáy, dừng

Cả ba trường hợp gộp lại thành một công thức duy nhất:

Dấu trừ chính là chỗ "đi ngược hướng dốc". Còn $\eta$ (đọc là êta) gọi là tốc độ học — độ dài mỗi bước.

Trực quan hoá

Giải bài toán mẫu

Xuất phát từ $a_0 = 5$ (một giá trị đoán bừa), chọn $\eta = 0{,}025$.

Bước 1.

Dương ⇒ đang ở sườn dốc lên ⇒ phải lùi.

Bước 2.

Bước 3.

Bước 4.

Dãy số: $5 \to 2{,}9 \to 2{,}27 \to 2{,}081 \to 2{,}0243 \to \dots$

Nó đang tiến về $2$ — đúng giá trị mà Bài 4 tìm ra bằng công thức đỉnh. Hai con đường hoàn toàn khác nhau, cùng một đích.

Một quy luật đẹp ẩn trong dãy số

Xem khoảng cách từ mỗi bước tới đích $a = 2$:

Bước	$a_n$	Sai số $a_n - 2$
$0$	$5$	$3$
$1$	$2{,}9$	$0{,}9$
$2$	$2{,}27$	$0{,}27$
$3$	$2{,}081$	$0{,}081$
$4$	$2{,}0243$	$0{,}0243$

Mỗi sai số bằng đúng $0{,}3$ lần sai số trước — một cấp số nhân công bội $0{,}3$.

Con số $0{,}3$ không từ trên trời rơi xuống. Thay $a_{\text{mới}} = a - \eta(28a-56)$ và chú ý $28a - 56 = 28(a-2)$:

Với $\eta = 0{,}025$: công bội $= 1 - 28(0{,}025) = 1 - 0{,}7 = 0{,}3$ ✓

Đây là chỗ toán học trả lời một câu hỏi rất thực tế: chọn $\eta$ bao nhiêu thì được?

Bẫy: tốc độ học quá lớn thì VĂNG ra xa

Thử $\eta = 0{,}1$ thay vì $0{,}025$:

Bước quá dài, nhảy vọt qua đáy sang tận bên kia. Bước tiếp:

Càng lúc càng xa. Công bội lúc này là $1 - 28(0{,}1) = -1{,}8$, trị tuyệt đối lớn hơn 1, nên sai số phình to sau mỗi bước.

Điều kiện hội tụ đọc thẳng ra từ đó: cần $|1 - 28\eta| < 1$, tức

Trong thực tế, "mô hình không học được" thường là do tốc độ học đặt sai. Và bạn vừa tính được điều kiện đúng của nó bằng một bất phương trình lớp 10.

Thử thách tự tính

Cho hàm mất mát

Câu hỏi 1. Tính $L'(w)$, rồi tìm điểm thấp nhất bằng công thức đỉnh của Toán 10.

Câu hỏi 2. Xuất phát $w_0 = 7$, chọn $\eta = 0{,}05$. Tính $w_1$, $w_2$, $w_3$.

Câu hỏi 3. Tính công bội $1 - \eta L''$ ở đây, rồi kiểm rằng dãy sai số $w_n - 3$ đúng là cấp số nhân với công bội đó.

Câu hỏi 4. Tìm khoảng giá trị của $\eta$ để thuật toán hội tụ.

Đáp án

Câu 1. $L'(w) = 10w - 30$. Đỉnh tại $w = \dfrac{30}{2\times5} = 3$, và $L(3) = 45 - 90 + 50 = 5$.

Câu 2.

• $L'(7) = 70 - 30 = 40$; $w_1 = 7 - 0{,}05(40) = 7 - 2 = 5$
• $L'(5) = 50 - 30 = 20$; $w_2 = 5 - 0{,}05(20) = 5 - 1 = 4$
• $L'(4) = 40 - 30 = 10$; $w_3 = 4 - 0{,}05(10) = 4 - 0{,}5 = 3{,}5$

Câu 3. Công bội $= 1 - 0{,}05 \times 10 = 0{,}5$. Kiểm dãy sai số: $7-3 = 4$; $5-3 = 2$; $4-3 = 1$; $3{,}5-3 = 0{,}5$. Đúng là cấp số nhân công bội $0{,}5$ ✓

Câu 4. Cần $|1 - 10\eta| < 1 \Leftrightarrow 0 < \eta < 0{,}2$. Với $\eta = 0{,}2$ thì dãy nhảy qua nhảy lại quanh $3$ mà không bao giờ tới; với $\eta > 0{,}2$ thì văng ra xa.

Lời kết

Câu "AI học từ lỗi sai" hay được nói như một phép ẩn dụ. Nó không phải ẩn dụ. Nó là một phép trừ, lặp đi lặp lại hàng triệu lần:

Toàn bộ quá trình huấn luyện một mô hình ngôn ngữ — hàng tháng chạy trên hàng nghìn máy — là dòng đó, lặp lại với hàng tỉ tham số cùng lúc.

Đạo hàm trong sách Toán 11 thường được giới thiệu qua bài toán tiếp tuyến và bài toán vận tốc tức thời. Còn đây là ứng dụng thứ ba, và có lẽ là ứng dụng được chạy nhiều lần nhất trên hành tinh này: đạo hàm chỉ đường xuống dốc.

Bài 6 chuyển sang một nhánh khác của Toán: khi máy phải quyết định trong điều kiện không chắc chắn, nó dùng xác suất có điều kiện và công thức Bayes.

---

Muốn luyện chắc phần đạo hàm và ý nghĩa hình học của nó, thầy cô và các bạn có thể dựng bộ đề riêng trên Grade: chấm tự động ngay khi nộp kèm lời giải chi tiết từng câu. Dùng thử miễn phí tại đây.

---