Trong nhiều năm, kiến trúc Lakehouse đã giúp thu hẹp khoảng cách giữa Data Lake và Data Warehouse, mang đến một nền tảng thống nhất cho cả phân tích dữ liệu và AI. Tuy nhiên, Lakehouse vẫn đang tiếp tục phát triển để đáp ứng những yêu cầu ngày càng cao về khả năng mở rộng, xử lý thời gian thực và phân quyền quản lý dữ liệu trong các doanh nghiệp hiện đại.
Trong phần đầu của loạt bài này, chúng ta sẽ khám phá ba xu hướng quan trọng đang định hình thế hệ Lakehouse tiếp theo: Data Mesh giúp phân quyền sở hữu dữ liệu theo từng miền nghiệp vụ, HTAP hợp nhất xử lý giao dịch và phân tích trên cùng một nền tảng, và Zero ETL hướng tới việc loại bỏ các đường ống ETL phức tạp. Đây đều là những công nghệ hứa hẹn sẽ làm cho hệ sinh thái dữ liệu trở nên đơn giản hơn, linh hoạt hơn và sẵn sàng cho AI.1. Data Mesh (Lưới dữ liệu)
Đây là một trong những bước
tiến quan trọng "sau Lakehouse" để giúp các tổ chức lớn vận hành dữ
liệu hiệu quả hơn.
Thông thường, các tổ chức
cố gắng gom tất cả dữ liệu về một "thư viện trung tâm" (như Data
Warehouse hay Data Lake truyền thống). Điều này thường gây ra tình trạng quá tải
cho đội ngũ kỹ thuật trung tâm.
Domain-Driven Design (DDD) trong Data Mesh: Hiểu Domain Ownership, Bounded Context và Data Product
Data Mesh
là một cách tư duy mới: Thay vì một nơi quản lý tất cả, quyền sở hữu và
trách nhiệm về dữ liệu được giao lại cho chính các bộ phận (domain teams) –
những người sinh ra dữ liệu đó và hiểu nó nhất. Ví dụ: Phòng Tài chính tự quản
lý dữ liệu tài chính, Phòng Bán hàng tự quản lý dữ liệu bán hàng.
Có 4 nguyên tắc cốt lõi
giúp hệ thống này vận hành:
- Quyền sở hữu dữ liệu phi tập trung:
Các phòng ban tự chịu trách nhiệm về dữ liệu của chính mình thay vì phó mặc
cho bộ phận IT trung tâm.
- Dữ liệu dưới dạng sản phẩm (Data as a
Product): Mỗi phòng ban phải coi dữ liệu của
mình như một "sản phẩm" hoàn chỉnh, sạch sẽ và dễ dùng để các
phòng ban khác có thể sử dụng ngay lập tức.
- Nền tảng hạ tầng tự phục vụ:
Mặc dù mỗi phòng ban tự quản lý dữ liệu, họ vẫn dùng chung một "bộ
công cụ" (hạ tầng) thống nhất để không phải tự xây dựng máy chủ hay hệ
thống lưu trữ từ đầu.
- Quản trị liên kết:
Tất cả phải tuân theo một "bộ luật chung" của công ty về bảo mật
và định dạng để các bên vẫn có thể hiểu và kết nối được với nhau.
Kiến trúc Lakehouse chính
là nền tảng hạ tầng lý tưởng để triển khai Data Mesh và là "người bạn đồng
hành" hoàn hảo cho Data Mesh nhờ các lợi ích thực tế:
- Linh hoạt mọi loại dữ liệu:
Giúp các phòng ban lưu trữ được cả hình ảnh, video (phi cấu trúc) lẫn bảng
biểu (có cấu trúc) trong "sản phẩm dữ liệu" của mình.
- Hỗ trợ mọi nhu cầu:
Từ làm báo cáo (BI) đến trí tuệ nhân tạo (AI), Lakehouse đều đáp ứng được
trên cùng một hạ tầng.
- Tự do chọn "bộ não":
Mỗi phòng ban có thể chọn engine tính toán (Compute Engine) phù hợp với kỹ
năng của họ (như dùng SQL hoặc dùng Python) mà không bị bó buộc.
- Chia sẻ không cần sao chép:
Nhờ các giao thức mở, các phòng ban có thể chia sẻ dữ liệu cho nhau cực kỳ
nhanh chóng mà không cần phải copy dữ liệu đi khắp nơi.
- Quản trị thống nhất:
Giúp tổ chức áp dụng các quy tắc bảo mật chung lên tất cả các "mảnh"
dữ liệu nằm rải rác ở các phòng ban thông qua các danh mục dữ liệu thống
nhất.
Data Mesh khi kết hợp với
Lakehouse không chỉ là công nghệ, mà là một sự thay đổi về văn hóa. Nó
giúp "dân chủ hóa dữ liệu", biến mỗi phòng ban thành một đơn vị thông
minh, tự chủ nhưng vẫn nằm trong một mạng lưới lưới thống nhất và an toàn.
2. HTAP (Hybrid Transactional/Analytical Processing)
Thông thường, các tổ chức
vận hành hai loại hệ thống hoàn toàn tách biệt: hệ thống giao dịch (OLTP), ví dụ để ghi nhận việc bán hàng hàng ngày và hệ thống phân tích (OLAP) để chạy
báo cáo. Để chuyển dữ liệu từ nơi bán hàng sang nơi làm báo cáo, các kỹ sư phải
xây dựng các đường ống ETL rất phức tạp, tốn kém và luôn có độ trễ.
HTAP
ra đời như một giải pháp "tất cả trong một", kết hợp cả việc xử lý
giao dịch và phân tích trong cùng một hệ thống duy nhất. Hãy lấy một ví dụ bạn
có một cuốn sổ cái mà vừa có thể ghi chép việc bán hàng ngay lập tức, vừa có thể
tổng hợp doanh thu cả tháng chỉ trong chớp mắt mà không cần sao chép dữ liệu đi
đâu cả.
Những lợi ích thực tế của HTAP
Việc áp dụng HTAP mang lại
4 lợi ích then chốt cho doanh nghiệp:
- Hệ sinh thái duy nhất:
Bạn chỉ cần quản lý một hệ thống thay vì phải duy trì hai môi trường riêng
biệt.
- Loại bỏ ETL:
Bạn không còn tốn công sức và chi phí để xây dựng các đường ống chuyển dữ
liệu trung gian.
- Phân tích tức thời:
Dữ liệu có sẵn để phân tích ngay khi giao dịch phát sinh, cho phép đưa ra
các quyết định kinh doanh theo thời gian thực.
- Kiến trúc đơn giản:
Giúp việc vận hành và bảo trì hệ thống trở nên nhẹ nhàng hơn rất nhiều.
Cách HTAP hoạt động (Ví dụ thực tế)
Lấy ví dụ về Snowflake
Unistore: khi một bản ghi được chèn vào, hệ thống sẽ lưu nó dưới dạng
"hàng" để phục vụ giao dịch nhanh chóng, đồng thời tạo một bản sao dạng
"cột" để phục vụ các truy vấn phân tích tốc độ cao. Một cái tên khác
cũng rất nổi bật trong lĩnh vực này là SingleStore.
Tương lai: Khi HTAP kết hợp cùng Lakehouse
Mặc dù hiện nay Lakehouse
tập trung vào việc thống nhất các loại hình phân tích (BI và AI) nhưng dự đoán
trong tương lai, HTAP sẽ kết hợp với Lakehouse để thống nhất luôn cả các khối
lượng công việc giao dịch. Điều này có nghĩa là bạn sẽ có một nền tảng "vạn
năng", nơi dữ liệu từ lúc sinh ra đến lúc trở thành mô hình AI hay báo
cáo BI đều nằm chung một chỗ, giúp tổ chức đổi mới nhanh hơn bao giờ hết.
Nhìn chung:
HTAP không chỉ là công nghệ mới, đó là cách chúng ta làm cho dữ liệu trở nên
"phẳng" hơn, xóa bỏ những trì trệ của quá khứ để hướng tới sự đơn giản
và tức thời.
3. Zero ETL
Nếu bạn từng thấy phiền
phức vì việc chờ đợi dữ liệu được chuyển từ hệ thống bán hàng sang hệ thống báo
cáo, thì Zero ETL chính là "phương thuốc" cho vấn đề đó.
Zero ETL là gì? "Xóa bỏ những đường ống cồng kềnh"
Trong cách làm truyền thống,
để đưa dữ liệu từ các hệ thống giao dịch (OLTP) sang nền tảng phân tích
(Lakehouse/OLAP), các kỹ sư phải xây dựng các đường ống ETL (Trích xuất
- Chuyển đổi - Nạp). Việc này cực kỳ tốn kém, phức tạp và gây ra độ trễ lớn.
Zero ETL
là thuật ngữ chỉ việc loại bỏ hoặc giảm thiểu tối đa nỗ lực cần thiết để
xây dựng những đường ống đó. Tinh thần là: "Tại sao phải tốn công xây đường
ống khi dữ liệu có thể xuất hiện ngay tại nơi bạn cần?"
Hai cách thức thực hiện Zero ETL
Có hai phương pháp tiếp cận
chính:
- Phương pháp Sao chép dữ liệu (Data
Replication): Dữ liệu được hệ thống tự động
"nhân bản" từ nguồn sang Lakehouse trong thời gian thực mà không
cần lập trình các bước chuyển đổi phức tạp. Hãy tưởng tượng giống như một
chiếc gương: hệ thống nguồn có gì thì Lakehouse cũng thấy ngay lập tức.
- Phương pháp Liên kết dữ liệu (Data
Federation): Đây là cách "đọc trực tiếp".
Lakehouse của bạn không thực sự chứa dữ liệu đó, nhưng nó có khả năng
"nhìn" xuyên thấu vào hệ thống nguồn để lấy thông tin ngay khi bạn
đặt câu hỏi. Giống như việc bạn không cần mang sách về nhà mà có thể đọc
trực tiếp từ thư viện qua một màn hình kết nối.
Những lợi ích
Việc tiến tới Zero ETL
mang lại những thay đổi mang tính đột phá cho doanh nghiệp:
- Tốc độ:
Bạn có được thông tin để phân tích gần như ngay lập tức sau khi giao dịch
phát sinh.
- Đơn giản hóa:
Giảm bớt khối lượng công việc nặng nề cho các kỹ sư dữ liệu trong việc bảo
trì các đường ống ETL hay bị lỗi.
- Thống nhất:
Giúp kết nối các hệ thống khác nhau (như từ AWS sang Microsoft Fabric) một
cách mượt mà.
Ví dụ thực tế từ các "ông lớn"
Có một số công nghệ hiện
đang tiên phong trong trào lưu này:
- AWS:
Cung cấp tính năng Zero-ETL tích hợp giữa cơ sở dữ liệu Aurora và kho dữ
liệu Redshift.
- Azure:
Có dịch vụ Synapse Link để kết nối trực tiếp các cơ sở dữ liệu SQL với nền
tảng phân tích.
- Databricks & Microsoft Fabric:
Sử dụng các tính năng như "Federated Queries" (Truy vấn liên kết)
hoặc "Shortcuts" để truy cập dữ liệu bên ngoài mà không cần di
chuyển hay copy dữ liệu.
Comments
Post a Comment