(Học tăng cường) hoạt động như thế nào? Dynamic Programming, Monte Carlo và các ứng dụng thực tế

Sau khi hiểu các thành phần cơ bản của học tăng cường, câu hỏi tiếp theo là: AI thực sự học bằng cách nào?

Deep Reinforcement Learning là gì? Vì sao AI cần kết hợp Học sâu với Học tăng cường

Reinforcement Learning (Học tăng cường) là gì? Hiểu bản chất qua giải thích về cách AI tự học

Trong thực tế, không phải mọi bài toán đều có đầy đủ thông tin về môi trường. Có lúc AI phải dựa vào mô hình đã biết để lập kế hoạch, nhưng cũng có khi phải liên tục thử nghiệm để khám phá. Điều này dẫn tới nhiều phương pháp khác nhau như Dynamic Programming hay Monte Carlo.

Bài viết này sẽ giúp bạn hiểu các cách tiếp cận phổ biến trong RL cũng như khám phá vì sao công nghệ này đã tạo nên những thành tựu nổi bật như AlphaGo, robot tự học và hệ thống điều khiển xe tự lái.

1. Quy hoạch động (Dynamic Programming) và Monte Carlo

Quy hoạch động (Dynamic Programming - DP): Chia để trị

Mặc dù tên gọi có vẻ dễ gây hiểu nhầm, nhưng:

• Programming ở đây không có nghĩa là lập trình máy tính, mà mang nghĩa lập kế hoạch hoặc tối ưu hóa (theo cách dùng trong toán học tối ưu).

• Dynamic không có nghĩa là "động" theo nghĩa thay đổi liên tục, mà ám chỉ việc giải quyết bài toán gồm nhiều giai đoạn (multi-stage decision process).

Vì vậy Quy hoạch động còn được gọi chính xác hơn là "phân rã mục tiêu" (goal decomposition).

• Cách hoạt động: Nó giải quyết các vấn đề phức tạp bằng cách chia nhỏ chúng thành các bài toán con (subproblems), rồi lại chia nhỏ các bài toán con đó cho đến khi đạt đến một mức độ đơn giản mà chúng ta có thể giải quyết trực tiếp mà không cần thêm thông tin.

• Ví dụ: Một robot hút bụi muốn quay về trạm sạc trong bếp. Thay vì tìm ngay một chuỗi hành động dài, nó chia mục tiêu thành: "thoát khỏi phòng này" -> "di chuyển về phía cửa" -> "tiến lên phía trước".

• Điều kiện: Phương pháp này đòi hỏi chúng ta phải có kiến thức tối đa về môi trường (một mô hình hoàn hảo trong tâm trí). Tuy nhiên, trong thế giới thực (như dạy xe tự lái), việc chia nhỏ mục tiêu thành các bài toán con không va chạm là cực kỳ khó khăn.

Phương pháp Monte Carlo (MC): Thử và sai ngẫu nhiên

Ở cực đối diện của dải phổ là phương pháp Monte Carlo, đại diện cho chiến lược thử và sai ngẫu nhiên.

• Cách hoạt động: Đây thực chất là việc lấy mẫu ngẫu nhiên từ môi trường. Chúng ta sử dụng nó khi có kiến thức tối thiểu về môi trường (không có mô hình chuẩn).

• Ví dụ: Nếu bạn đến dự tiệc tại một ngôi nhà xa lạ, bạn không biết sơ đồ nhà để đi thẳng đến nhà vệ sinh (như cách bạn làm ở nhà mình - Dynamic Programming). Thay vào đó, bạn phải đi loanh quanh tìm kiếm cho đến khi thấy nó.

Chiến lược hỗn hợp (Mixed Strategy)

Trong thực tế, hầu hết các bài toán học tăng cường nằm ở giữa dải phổ này. Chúng ta thường có một chút kiến thức về môi trường nhưng vẫn cần phải khám phá.

• Ví dụ "ném sỏi": Có một ví dụ rất thú vị: Nếu bạn bị bịt mắt trong nhà mình và muốn tìm nhà vệ sinh, bạn có thể ném những viên sỏi để nghe tiếng động.

• Bạn ném sỏi ngẫu nhiên để đoán xem mình đang ở phòng nào (Monte Carlo).

• Khi đã đoán được phòng, bạn lên kế hoạch di chuyển ra cửa (Quy hoạch động) dựa trên trí nhớ về sơ đồ nhà.

Nói chung:

• Quy hoạch động: Dựa trên việc phân rã mục tiêu khi đã biết rõ quy luật của môi trường.

• Monte Carlo: Dựa trên việc lấy mẫu và thử sai khi chưa rõ môi trường.

Học tăng cường (RL) thường kết hợp cả hai: vừa phân rã mục tiêu vừa học hỏi thông qua thử nghiệm ngẫu nhiên để dần dần tối ưu hóa hành động.

2. Các lĩnh vực khác nhau trong RL

Học tăng cường không phải là một lĩnh vực cô lập, mà là điểm giao thoa của nhiều ngành khoa học khác nhau.

Bạn có thể hình dung Học tăng cường như một "mảnh đất chung", nơi tập hợp những kiến thức tinh túy nhất từ 6 lĩnh vực lớn sau đây để giải quyết bài toán ra quyết định:

• Học máy (Machine Learning): RL là một nhánh con của Học máy. Nó thừa hưởng rất nhiều "vũ khí", thủ thuật và kỹ thuật từ lĩnh vực này để giúp máy tính học cách hành xử dựa trên những dữ liệu quan sát đôi khi không hoàn hảo.

• Kỹ thuật (Engineering): Đặc biệt là mảng Điều khiển tối ưu (Optimal control). Lĩnh vực này đóng góp các phương pháp để thực hiện một chuỗi các hành động tối ưu nhằm đạt được kết quả tốt nhất.

• Khoa học thần kinh (Neuroscience): Lấy ví dụ về hệ thống Dopamine trong não người để cho thấy rằng bộ não chúng ta thực tế hoạt động rất giống với mô hình Học tăng cường.

• Tâm lý học (Psychology): Lĩnh vực này nghiên cứu hành vi của con người và động vật trong các điều kiện khác nhau, cách chúng ta phản ứng và thích nghi – những chủ đề này rất gần gũi với mục tiêu của RL.

• Kinh tế học (Economics): Một chủ đề quan trọng trong kinh tế là làm sao để tối đa hóa phần thưởng (lợi nhuận) trong bối cảnh tri thức không hoàn hảo và các điều kiện thực tế luôn thay đổi.

• Toán học (Mathematics): Cung cấp nền tảng về các hệ thống lý tưởng hóa và đóng góp lớn trong việc tìm kiếm các điều kiện tối ưu thông qua lĩnh vực Nghiên cứu vận hành (Operations research).

RL cực kỳ linh hoạt và tổng quát. Nó không bị bó hẹp trong khoa học máy tính mà là sự kết hợp của nhiều ngành nghề, cho phép nó tận dụng những thông tin tốt nhất từ mọi lĩnh vực để giải quyết các vấn đề thực tế từ chơi game cho đến tối ưu hóa các quy trình sản xuất phức tạp.

3. Chúng ta có thể làm gì với học tăng cường?

Dưới đây là những ứng dụng tiêu biểu và tiềm năng của RL:

Phá vỡ giới hạn trong trò chơi (Game)

Đây là nơi RL thể hiện sức mạnh rõ rệt nhất, đặc biệt qua các thành tựu của DeepMind:

• Chơi game Atari: Năm 2013, thuật toán DQN của DeepMind đã chơi được nhiều trò chơi Atari khác nhau ở mức siêu phàm mà không cần chỉnh sửa riêng cho từng trò. Nó chỉ nhìn vào các điểm ảnh (pixels) thô trên màn hình và học cách tối đa hóa điểm số.

• Đánh bại nhà vô địch cờ Vây (Go): AlphaGo và AlphaZero đã làm nên lịch sử khi đánh bại những người chơi giỏi nhất thế giới. Cờ Vây có độ phức tạp khủng khiếp với hơn $10^{170}$ vị trí có thể xảy ra, khiến các thuật toán duyệt theo kiểu "vét cạn" (brute force) trước đây hoàn toàn thất bại.

Tối ưu hóa hiệu suất công nghiệp

RL không chỉ dành cho trò chơi mà còn giải quyết được những bài toán kinh tế quan trọng:

• Tiết kiệm năng lượng: DeepMind đã tạo ra một mô hình RL giúp giảm 40% chi phí làm mát cho các trung tâm dữ liệu khổng lồ của Google. Tác nhân RL học cách điều chỉnh hệ thống làm mát dựa trên tình trạng sử dụng máy chủ thực tế thay vì chạy cố định như cách truyền thống.

Điều khiển tự động và Robot

• Xe tự lái: RL giúp xe học cách phối hợp các hành động (tăng tốc, rẽ, phanh, báo hiệu) để đưa hành khách đến nơi an toàn và tránh tai nạn.

• Robot học kỹ năng: Các nhà nghiên cứu đang huấn luyện robot hoàn thành các nhiệm vụ phức tạp, như học chạy, mà không cần lập trình thủ công từng chuyển động cơ bắp chi tiết.

Ứng dụng trong kinh doanh và tài chính

• Giao dịch chứng khoán (Algorithmic Trading): Khác với các quy tắc cứng nhắc, thuật toán RL có lợi thế là khả năng tự thích nghi liên tục với các điều kiện thị trường luôn biến động và không thể dự đoán được theo thời gian thực.

• Đặt quảng cáo (Ad Placement): RL giúp các trang web thương mại điện tử học xem nên hiển thị quảng cáo nào cho người dùng nào để tối đa hóa lượt nhấp chuột (clicks) dựa trên ngữ cảnh (context) về sở thích của họ.

Một lưu ý quan trọng về tính an toàn:

Với những lĩnh vực có rủi ro cao như lái xe, chúng ta không thể để máy tính thử-sai trực tiếp trên đường thật. Thay vào đó, RL được huấn luyện trong các môi trường mô phỏng (simulators) an toàn trước khi được triển khai lên phần cứng thật ở thế giới bên ngoài.

RL hướng tới những cỗ máy học tập đa năng, có thể tự học kỹ năng mới với rất ít sự giám sát của con người, từ đó san bằng cơ hội sử dụng AI cho tất cả mọi người, thay vì chỉ nằm trong tay các công ty giàu dữ liệu.

Kết luận

Điểm mạnh lớn nhất của học tăng cường nằm ở khả năng tự ra quyết định trong những môi trường luôn thay đổi. Từ trò chơi điện tử đến robot, tài chính hay tối ưu năng lượng, RL đều hướng tới cùng một mục tiêu: tối đa hóa phần thưởng dài hạn.

Tuy nhiên, khi môi trường trở nên quá phức tạp với hàng triệu hoặc hàng tỷ trạng thái, các phương pháp RL truyền thống bắt đầu bộc lộ giới hạn. Đây chính là lý do Deep Reinforcement Learning ra đời để kết hợp sức mạnh của học sâu với học tăng cường.