Hợp Nhất Dữ Liệu Với Analytic Lakehouse Của Google Cloud

Hợp Nhất Dữ Liệu Với Analytic Lakehouse Của Google Cloud

Trong việc phân tích dữ liệu, các doanh nghiệp thường lựa chọn các giải pháp khác nhau tuỳ trường hợp sử dụng như: data warehouse cho việc lưu trữ và phân tích dữ liệu cấu trúc thường được dùng cho báo cáo và BI, data lake áp dụng cho dữ liệu phi cấu trúc và bán cấu trúc, chủ yếu được dùng để khám phá, Machine Learnng workload. Tuy nhiên, việc vận hành và quản lý kiến trúc này tốn nhiều thời gian, công sức vì vậy Google Cloud đã cho ra mắt Analytic Lakehouse để giải quyết các vấn đề trên. Cloud Ace sẽ làm rõ qua bài viết dưới đây.

Google Analytic Lakehouse là sự kết hợp giữa data warehouse và data lake mà doanh nghiệp không cần phải trả thêm chi phí để sử dụng cả 2. Kiến trúc này cho phép doanh nghiệp trích xuất dữ liệu real-time, bất kể dữ liệu đang nằm trên cloud hay bất cứ data warehouse nào, và sử dụng nó để có cái nhìn tổng quát về insight, trí tuệ nhân tạo AI, khả năng quản trị và truy cập giữ các nhóm.

Google Analytic Lakehouse được xây dựng trên các dịch vụ đáng tin cậy của Google như: Cloud Storage, BigQuery, Dataflow, Looker, Vertex AI, etc. Tận dụng độ bền và khả năng mở rộng của Google Cloud, Google cho phép doanh nghiệp tăng tốc độ đổi mới với nền tảng dữ liệu mở, thống nhất và thông minh. Nền tảng dữ liệu này là cơ sở cho Google's Analytic Lakehouse, giúp làm mờ ranh giới giữa data warehouse và data lakes để cung cấp cho doanh nghiệp cả hai lợi ích. Bao gồm các thành phần:

Data consumption:

Dữ liệu có thể được truy cập trực tiếp từ các ứng dụng BigQuery, Serverless Spark, Apache Beam, BI tools hoặc Machine Learning (ML).

Cung cấp lựa chọn compute platforms với các ứng dụng serverless, các doanh nghiệp có thể tận dụng bất kỳ framework nào đáp ứng nhu cầu của họ.

Mức tiêu thụ dữ liệu không ảnh hưởng đến quá trình xử lý do sự tách biệt hoàn toàn giữa tính toán và lưu trữ.

Lakehouse cung cấp nền tảng động để mở rộng quy mô cho use cases mới hoặc data-science use cases.

Khả năng hỗ trợ định giá linh hoạt của BigQuery cho phép PayPal hợp nhất dữ liệu dưới dạng Lakehouse. Lưu trữ nén cùng với các tùy chọn tự động thay đổi quy mô trong BigQuery, giúp chúng tôi cung cấp các quy trình xử lý dữ liệu có thể mở rộng và sử dụng dữ liệu một cách tiết kiệm chi phí.
Bala Natarajan, VP Enterprise Data Platforms, PayPal

Google Cloud cung cấp cloud-native tool để xây dựng analytic lakehouse với các lợi ích về chi phí và hiệu suất đám mây. Với các key topic trong Google Cloud's whitepaper như sau:

Các tùy chọn lưu trữ và tối ưu hóa khác nhau tùy thuộc vào nguồn dữ liệu và end users.
Một số công cụ điện toán giúp cân bằng lợi ích tốc độ và chi phí theo yêu cầu doanh nghiệp.
Các công cụ BI và ML giúp tối đa hóa giá trị của dữ liệu được lưu trữ trong lakehouse.
Quản trị, đảm bảo sử dụng dữ liệu hiệu quả.

BigQuery hỗ trợ phân tích dự đoán thông qua BigQuery ML, và in-database ML để đào tạo machine learning và dự đoán bằng SQL. Nó giúp người dùng phân loại,regression, dự báo chuỗi thời gian, phát hiện bất thường và đề xuất các trường hợp sử dụng.

Doanh nghiệp có thể thực hiện phân tích dự đoán với dữ liệu phi cấu trúc cho hình ảnh và văn bản, tận dụng các dịch vụ mô hình của Google như Vertex Vision, Xử lý ngôn ngữ tự nhiên (Văn bản) và Dịch. Với ML inference engine được tích hợp sẵn của BigQuery, cho phép doanh nghiệp đưa các mô hình của riêng họ vào BigQuery, nhờ đó đơn giản hóa việc tạo đường dẫn dữ liệu.

Generative AI là một công nghệ mạnh mẽ nhưng các doanh nghiệp đang thiếu cách để kích hoạt AI dễ dàng và chuyển từ thử nghiệm sang sản xuất.

Tích hợp với Cloud AI cho Generative AI sẽ nhúng phân tích văn bản với analytic warehouse. Điều này giúp doanh nghiệp có thể sử dụng AI để sentiment analysis ( phân tích quan điểm), data classification (phân loại dữ liệu), và language translations (dịch ngôn ngữ).

Cloud Ace

Google Cloud Managed Service Provider