Deep Reinforcement Learning là gì? Vì sao AI cần kết hợp Học sâu với Học tăng cường

Trong các bài toán đơn giản, học tăng cường có thể ghi nhớ kinh nghiệm thông qua bảng tra cứu (lookup table). Tuy nhiên, khi AI phải xử lý hàng triệu trạng thái khác nhau, cách tiếp cận này nhanh chóng trở nên bất khả thi.

Deep Reinforcement Learning (DRL) ra đời để giải quyết vấn đề đó bằng cách kết hợp học tăng cường với mạng nơ-ron sâu. Thay vì ghi nhớ từng trạng thái riêng lẻ, AI học cách hiểu và khái quát hóa dữ liệu, từ đó đưa ra quyết định ngay cả với những tình huống chưa từng gặp.

Trong bài viết này, chúng ta sẽ tìm hiểu khung hoạt động của RL, và lý do Deep Learning đã tạo nên bước ngoặt cho học tăng cường hiện đại.

• Reinforcement Learning (Học tăng cường) hoạt động như thế nào? Dynamic Programming, Monte Carlo và các ứng dụng thực 

• Reinforcement Learning (Học tăng cường) là gì? Hiểu bản chất qua giải thích về cách AI tự học

1. The Reinforcement Learning Framework (Khung sườn của Học tăng cường)

Đây là một bộ các thuật ngữ và khái niệm tiêu chuẩn giúp chúng ta diễn đạt mọi bài toán RL theo một cách thống nhất, hỗ trợ việc chia nhỏ các mục tiêu phức tạp thành các bài toán con có thể giải quyết được.

Lấy ví dụ về việc tối ưu hóa hệ thống làm mát cho một trung tâm dữ liệu khổng lồ nhằm giảm thiểu chi phí năng lượng. Dưới đây là các thành phần cốt lõi của khung sườn này:

Các thành phần chính

• Môi trường (Environment): Trong ví dụ này, môi trường chính là trung tâm dữ liệu cùng các máy chủ cần được làm mát.

• Trạng thái (State): Vì môi trường là một luồng dữ liệu liên tục, chúng ta cần chia nhỏ nó thành các "gói" thông tin tại những thời điểm nhất định. Trạng thái giống như một "bức ảnh chụp nhanh" (snapshot) cho biết tình hình hiện tại của môi trường, ví dụ: nhiệt độ máy chủ và chi phí điện năng lúc đó.

• Tác nhân (Agent): Đây là tên gọi của thuật toán RL. Tác nhân đóng vai trò là "người học" và là thực thể đưa ra các quyết định.

• Hành động (Action): Dựa trên trạng thái hiện tại, tác nhân sẽ thực hiện một hành động (như điều chỉnh quạt gió hoặc công suất điều hòa). Mỗi hành động này sẽ gây ra một hệ quả và làm thay đổi trạng thái của môi trường trong tương lai.

• Phần thưởng (Reward): Sau mỗi hành động, tác nhân nhận được một tín hiệu số gọi là phần thưởng. Đây là phản hồi cho biết tác nhân đang làm tốt hay tệ. Nếu hành động làm giảm chi phí, tác nhân nhận điểm dương; nếu làm tăng nhiệt độ quá mức, nó nhận điểm âm (hình phạt).

Chu kỳ vận hành (The Cycle)

Toàn bộ quá trình diễn ra theo một vòng lặp kín:

1.    Tác nhân quan sát Trạng thái hiện tại từ Môi trường.

2.    Tác nhân đánh giá dữ liệu và thực hiện một Hành động.

3.    Môi trường thay đổi do hành động đó và gửi lại một Phần thưởng cùng Trạng thái mới.

4.    Tác nhân sử dụng phần thưởng này để tự cập nhật và cải thiện các quyết định sau này.

Mục tiêu cuối cùng

Mục tiêu duy nhất của tác nhân là học cách phối hợp các hành động để tối đa hóa tổng phần thưởng mong đợi trong dài hạn. Bằng cách lặp đi lặp lại chu kỳ này hàng nghìn lần, tác nhân sẽ dần hiểu được cách môi trường vận hành và biết cách đưa ra những quyết định sáng suốt nhất ở mọi bước đi.

Cách tiếp cận này rất linh hoạt và có thể áp dụng cho nhiều lĩnh vực khác nhau như xe tự lái, robot, giao dịch chứng khoán tự động hay chăm sóc sức khỏe.

2. Deep reinforcement learning (Học tăng cường sâu) là gì?

Học tăng cường sâu (Deep Reinforcement Learning - DRL) là sự kết hợp giữa học tăng cường (Reinforcement Learning) và học sâu (Deep Learning). Trong phương pháp này, mạng nơ-ron sâu được sử dụng để giúp tác nhân học và đưa ra quyết định trong những môi trường có dữ liệu lớn hoặc trạng thái phức tạp mà các phương pháp học tăng cường truyền thống khó xử lý. Thay vì phải mô tả thủ công mọi quy tắc hoặc trạng thái, mô hình có thể tự học các đặc trưng quan trọng từ dữ liệu đầu vào, chẳng hạn như hình ảnh, âm thanh hoặc tín hiệu từ cảm biến. Nhờ đó, học tăng cường sâu đã đạt được nhiều thành tựu nổi bật trong các lĩnh vực như chơi trò chơi, điều khiển robot và xe tự lái.

3. Từ "Deep" trong “Deep Reinforcement Learning” có ý nghĩa gì?

Các mô hình học sâu thực chất là một dạng của các mô hình tham số. Bạn hãy hình dung một hàm số nhận đầu vào là một hình ảnh và trả về một nhãn phân loại (ví dụ: "đây là con mèo"). Hàm số này có một tập hợp các "nút vặn" có thể điều chỉnh được, gọi là các tham số.

Quy trình hoạt động diễn ra như sau:

• Khởi đầu: Các tham số được đặt ở giá trị ngẫu nhiên, dẫn đến việc phân loại sai bét.

• Huấn luyện: Chúng ta sử dụng một quy trình huấn luyện để điều chỉnh các tham số này dần dần.

• Kết quả: Sau nhiều lần thử và sai, các tham số sẽ đạt đến giá trị tối ưu, giúp mô hình phân loại chính xác nhất có thể.

Tại sao lại gọi là "deep (sâu)"?

Cái tên "deep" xuất phát từ cấu trúc của các mạng thần kinh nhân tạo. Các mạng này có rất nhiều lớp chồng lên nhau. Chính cấu trúc nhiều lớp này cho phép mô hình học được các biểu diễn phân tầng (layered representations) của dữ liệu đầu vào.

Dữ liệu phức tạp được tạo ra từ sự kết hợp của các thành phần cơ bản hơn, và những thành phần đó lại được chia nhỏ thành những đơn vị nguyên tử đơn giản hơn nữa.

Một ví dụ rất gần gũi về ngôn ngữ con người để minh họa:

• Một cuốn sách được hợp thành từ các chương.
• Chương được tạo ra từ các đoạn văn.
• Đoạn văn gồm các câu, và câu gồm các từ (đơn vị ý nghĩa nhỏ nhất).

Mạng thần kinh sâu cũng học dữ liệu theo cách tương tự. Ví dụ, khi xử lý một hình ảnh phức tạp, lớp đầu tiên có thể chỉ nhận diện các đường nét và vân bề mặt cơ bản; lớp tiếp theo kết hợp chúng thành các hình dạng sơ khai; và cứ thế cho đến khi hình thành nên một hình ảnh hoàn chỉnh và phức tạp.

Chữ "deep" không chỉ nói về số lượng lớp trong mạng thần kinh, mà quan trọng hơn, nó đại diện cho khả năng xử lý sự phức tạp thông qua việc chia nhỏ và tổ chức dữ liệu thành nhiều tầng lớp khác nhau. Chính điều đó tạo nên sức mạnh cho học sâu trong việc giải quyết các nhiệm vụ khó khăn.

Hình ảnh này giúp cụ thể hóa cách một thuật toán "Học tăng cường sâu" (Deep RL) thực sự hoạt động bên trong lớp vỏ của nó.

Cái gì nằm bên trong "Tác nhân"?

Trong mô hình học tăng cường tổng quát, chúng ta biết có một thực thể gọi là Tác nhân (Agent) chuyên đưa ra các quyết định. Hình ảnh trên mở cái "hộp đen" Tác nhân này ra để cho bạn thấy bộ não của nó là gì. Bộ não đó chính là một Mạng thần kinh sâu (Deep Neural Network).

Ba thành phần chính trong hình:

Hình ảnh này mô tả một quy trình chuyển hóa dữ liệu thành hành động cực kỳ súc tích:

• Dữ liệu đầu vào (Input data - State): Đây là thông tin về Trạng thái của môi trường tại một thời điểm nhất định. Hãy hình dung đây là một "bức ảnh chụp nhanh" chứa tất cả những gì Tác nhân có thể nhìn thấy hoặc cảm nhận được vào lúc đó (ví dụ: vị trí của các xe xung quanh trong trò chơi đua xe).

• Mạng thần kinh (Neural Network): Dữ liệu trạng thái này được nạp vào mạng thần kinh. Đây là tập hợp các lớp tính toán phức tạp đóng vai trò là cơ chế đánh giá. Nhiệm vụ của mạng này là "nhìn" vào dữ liệu và tính toán xem hành động nào sẽ mang lại lợi ích tốt nhất trong dài hạn.

• Hành động (Action): Kết quả đầu ra của mạng thần kinh là một Hành động cụ thể. Sau khi đánh giá xong, mạng sẽ bảo Tác nhân: "Hãy rẽ trái!" hoặc "Hãy nhảy lên!".

Một vài điểm đáng chú ý qua hình ảnh này:

• Sự kết hợp hoàn hảo: RL (Học tăng cường) là khung sườn để giải quyết vấn đề, còn Deep Learning (Học sâu) là công cụ mạnh mẽ để thực thi việc ra quyết định đó.

• Tính đơn giản hóa: Lưu ý rằng quy trình thực tế còn phức tạp hơn nhiều (bao gồm việc tính toán phần thưởng, cập nhật tham số mạng...), nhưng hình ảnh này đã nắm bắt được bản chất cốt lõi nhất: Dữ liệu đi vào -> Mạng thần kinh xử lý -> Hành động đi ra.

Từ những phân tích trên cho thấy trong Deep RL, mạng thần kinh chính là "động cơ" điều khiển mọi hành vi của Tác nhân dựa trên những gì nó quan sát được từ thế giới xung quanh.

4. Tại sao cần kết hợp học sâu (Deep Learning) vào Học tăng cường (Reinforcement Learning)

Sự hạn chế của "Bảng tra cứu" (Lookup Tables)

Trước khi học sâu bùng nổ, học tăng cường thường sử dụng các phương pháp đơn giản như lưu trữ trải nghiệm vào một bảng tra cứu (giống như một cuốn từ điển). Trong bảng này, mỗi trạng thái của môi trường được ghi lại cùng với hành động tương ứng và phần thưởng nhận được. Thay vì phải suy nghĩ hay tính toán phức tạp, tác nhân AI chỉ cần làm một việc duy nhất: nhìn vào tình huống hiện tại và tra bảng để biết mình nên làm gì.

Láy ví dụ trò chơi Cờ ca-rô (Tic-Tac-Toe). Bảng này có hai cột chính:

• Cột Khóa (Key - Trạng thái hiện tại): Đây là hình ảnh bàn cờ tại một thời điểm nhất định (ví dụ: quân X đang nằm ở đâu).

• Cột Giá trị (Value - Hành động cần thực hiện): Đây là chỉ dẫn cụ thể AI nên đánh vào ô nào tiếp theo (ví dụ: "Đặt quân X vào góc trên bên trái").

Quy trình cực kỳ đơn giản: AI thấy bàn cờ đang ở trạng thái A -> AI tra bảng tìm dòng có trạng thái A -> AI thực hiện hành động B được ghi tương ứng ở cột bên cạnh.

Có hai điểm quan trọng ở đây:

• Nó hoạt động tốt với các bài toán đơn giản: Trong cờ ca-rô, chỉ có khoảng 255 168 vị trí bàn cờ có thể xảy ra. Một chiếc máy tính hiện đại có thể dễ dàng lưu trữ toàn bộ các trạng thái này vào bộ nhớ để "thuộc lòng".

• Nó là tiền đề để hiểu sự cần thiết của "Deep": Đây là phương pháp AI thời kỳ đầu, chưa cần đến mạng thần kinh hay học sâu. AI chỉ đơn giản là lưu trữ trải nghiệm vào cơ sở dữ liệu và lật lại xem cái gì đã hiệu quả trong quá khứ.

Bảng tra cứu trong hình trên trông rất hoàn hảo đại diện cho cách tiếp cận "ghi nhớ từng trường hợp". Nó đơn giản, dễ hiểu nhưng chỉ hiệu quả trong một phạm vi nhỏ hẹp, và là bước đệm để chúng ta tiến tới học tăng cường sâu khi có sự bùng nổ dữ liệu. Nếu một trò chơi có hàng tỷ tỷ trạng thái (như các game Atari hay thế giới thực), chúng ta không thể nào in một cuốn "bí kíp" khổng lồ như vậy được. Đó chính là lý do chúng ta cần Học sâu (Deep Learning) để thay thế bảng tra cứu này bằng một mạng thần kinh thông minh hơn, có khả năng nén và hiểu dữ liệu thay vì chỉ ghi nhớ máy móc.

Sự bùng nổ của không gian trạng thái

Khi môi trường phức tạp hơn, số lượng trạng thái sẽ bùng nổ theo cấp số nhân.

Hình ảnh trên hiển thị ba khung hình liên tiếp của trò chơi Breakout. Trong trò chơi này, bạn điều khiển một thanh ngang để đánh quả bóng phá vỡ các viên gạch. Nếu chúng ta coi mỗi cấu hình điểm ảnh (pixel) trên màn hình là một trạng thái (state), thì chỉ cần quả bóng di chuyển đi một chút (như trong 3 khung hình s(t), s(t+1), s(t+2)), máy tính sẽ coi đó là các trạng thái hoàn toàn khác nhau.

Thuật toán DQN của DeepMind, được huấn luyện để chơi các trò chơi Atari, nhận đầu vào là bốn ảnh thang độ xám có kích thước 84 × 84 pixel ở mỗi bước. Điều này tạo ra $256^{28224}$ trạng thái trò chơi khác nhau (vì mỗi pixel có 256 mức xám khác nhau và tổng số pixel là 4 × 84 × 84 = 28224). Con số này lớn hơn rất nhiều so với số lượng nguyên tử trong vũ trụ quan sát được khiến việc lưu trữ chúng vào bộ nhớ máy tính là hoàn toàn bất khả thi. Đáng chú ý, đây còn là sau khi các hình ảnh đầu vào đã được thu nhỏ từ ảnh màu gốc có độ phân giải 210 × 160 pixel để giảm kích thước dữ liệu.

Thông qua hình ảnh này, phải nhấn mạnh rằng con người không học theo kiểu ghi nhớ từng khung hình rời rạc, và AI cũng không nên như vậy.

• Khả năng trừu tượng hóa: Thay vì nhớ hàng tỷ hình ảnh quả bóng ở các vị trí khác nhau, mạng thần kinh sâu (Deep Neural Network) có khả năng nén dữ liệu. Nó học cách "nhìn" và nhận ra các đặc trưng cấp cao như: "Đây là quả bóng", "Đây là cái vợt", và "Bóng đang bay xuống".

• Tính tổng quát: Nhờ học sâu, AI không chỉ giải quyết được 3 khung hình trong ví dụ mà còn có thể xử lý mọi tình huống tương tự mà nó chưa từng thấy trước đó, điều mà một bảng tra cứu cứng nhắc không bao giờ làm được.

Đây là một lời cảnh báo về sự phức tạp của thế giới thực. Nó chứng minh rằng nếu không có sự trợ giúp của Học sâu để tóm tắt và hiểu các quy luật ẩn sau các điểm ảnh, AI sẽ bị "ngộp thở" trong lượng dữ liệu khổng lồ của các trò chơi hay các nhiệm vụ thực tế.

Hạn chế của việc thiết lập quy tắc thủ công (Feature Engineering)

Chúng ta có thể cố gắng giới hạn số lượng trạng thái bằng cách tự lập trình các đặc trưng quan trọng (ví dụ: chỉ bảo máy tính để ý đến vị trí quả bóng và cái vợt trong trò Breakout).

• Tuy nhiên, cách làm này đòi hỏi con người phải hiểu cực kỳ sâu sắc về chiến thuật của từng trò chơi cụ thể để thiết kế.

• Điều quan trọng nhất là các đặc trưng này không có tính tổng quát hóa: những gì bạn thiết kế cho trò chơi này sẽ không thể dùng cho trò chơi khác.

Học sâu là "Nước sốt bí mật" (The Secret Sauce)

Học sâu ra đời như một giải pháp cứu cánh nhờ khả năng tự động học các biểu diễn trừu tượng.

• Nén dữ liệu hiệu quả: Thay vì cần hàng tỷ tỷ hàng trong một bảng tra cứu, mạng thần kinh sâu chỉ sử dụng một số lượng tham số cố định (vài nghìn đến vài triệu) để "nén" và đại diện cho toàn bộ các trạng thái có thể xảy ra.

• Khả năng nhìn nhận thông minh: Mạng thần kinh có thể tự học cách "nhìn" vào hàng nghìn điểm ảnh thô để nhận ra đâu là quả bóng, đâu là cái vợt và hướng di chuyển của chúng mà không cần con người lập trình sẵn.

• Tính linh hoạt và chuyển giao: Những đặc trưng cấp cao mà mạng thần kinh học được ở môi trường này thường có thể được tái sử dụng hoặc chuyển giao sang các môi trường khác.

Học sâu chính là công cụ mạnh mẽ nhất hiện nay cung cấp khả năng biểu diễn, tính hiệu quả và sự linh hoạt để học tăng cường có thể giải quyết được những bài toán phức tạp trong thế giới thực.

Kết luận

Deep Reinforcement Learning không thay đổi mục tiêu của học tăng cường mà chỉ thay đổi cách tác nhân biểu diễn và xử lý thông tin. Thay vì lưu trữ từng trạng thái trong bộ nhớ, mạng nơ-ron sâu học cách trích xuất các đặc trưng quan trọng và khái quát hóa từ dữ liệu.

Nhờ đó, DRL đã mở ra khả năng giải quyết những bài toán trước đây gần như bất khả thi, từ chơi game Atari, cờ vây, điều khiển robot đến xe tự lái và nhiều ứng dụng AI hiện đại khác.