Big Data là gì và khai thác Big Data như thế nào để ứng dụng trong cuộc sống

Bài viết cập nhật lại kiến thức Big Data mà Nha từng chia sẻ từ năm 2016. Big Data không đơn giản là dữ liệu thật nhiều và cũng không có một ngưỡng TB hay PB cố định. Bài giải thích 5V của Big Data, sự khác nhau giữa Big Data với Data Warehouse, Data Lake và Lakehouse, tác động của cloud và AI, đồng thời nhìn lại bài học Google Flu Trends để thấy rằng nhiều dữ liệu không đồng nghĩa với dữ liệu tốt.

Big Data là gì? Dữ liệu lớn không chỉ đơn giản là dữ liệu thật nhiều

Cập nhật tháng 09/2026: Nha viết bài này lần đầu vào năm 2016, sau một lần đi đường sách và mua cuốn Big Data của Lisa Arthur. Mười năm sau đọc lại, phần định nghĩa cơ bản vẫn còn giá trị nhưng nhiều ví dụ, con số và cách nhìn về Big Data đã thay đổi khá nhiều. Vì vậy Nha viết lại bài này và giữ phiên bản năm 2016 ở cuối để mọi người có thể so sánh.

Năm 2016, Nha đi đường sách, thấy cuốn Big Data của Lisa Arthur.

Nhìn chữ Big Data thấy vừa quen vừa có vẻ... to.

Mua.

Về đọc.

Rồi lên Google tìm tiếp.

Sau đó viết bài này.

Lúc đó Nha hiểu Big Data theo cách khá phổ biến:

Dữ liệu nhiều đến mức những công cụ truyền thống không xử lý nổi.

Cách hiểu này không sai.

Nhưng sau nhiều năm làm việc với dữ liệu, Nha thấy nó chưa đủ.

Nếu hôm nay có người hỏi:

Big Data là gì?

Nha sẽ trả lời ngắn hơn thế này:

Big Data là những tập dữ liệu có quy mô, tốc độ phát sinh hoặc mức độ đa dạng đủ lớn và phức tạp khiến cách lưu trữ, xử lý và phân tích dữ liệu truyền thống không còn phù hợp hoặc hiệu quả.

Và quan trọng hơn:

Big Data không có giá trị chỉ vì nó “Big”. Giá trị chỉ xuất hiện khi chúng ta biến dữ liệu thành thông tin có thể sử dụng để giải quyết một vấn đề thực tế.

Đây là phần mà năm 2016 Nha đã nhắc tới.

Nhưng phải đến sau này Nha mới thấy chữ Value có khi còn quan trọng hơn chữ Big.

Big Data có phải đơn giản là dữ liệu rất lớn?

Không hẳn.

Đây là điều đầu tiên Nha muốn sửa lại trong cách hiểu cũ.

Ngày trước người ta thường đưa ra những con số:

  • vài chục terabyte;

  • hàng trăm terabyte;

  • petabyte;

  • exabyte;

  • zettabyte.

Nhìn rất ấn tượng.

Nhưng không có một con số kiểu:

99 GB  = Data 100 GB = Big Data 

hoặc:

999 TB = Data 1 PB   = Big Data 

Big Data mang tính tương đối với bài toán và khả năng của hệ thống.

Một file dữ liệu 5 TB có thể rất lớn đối với một ứng dụng đang chạy trên một SQL Server đơn lẻ.

Nhưng 5 TB lại chẳng có gì đặc biệt đối với một nền tảng dữ liệu phân tán được thiết kế để xử lý hàng petabyte.

Vì vậy câu hỏi tốt hơn không phải:

Dữ liệu bao nhiêu TB thì gọi là Big Data?

Mà là:

Khối lượng, tốc độ và độ phức tạp của dữ liệu đã vượt quá khả năng xử lý hiệu quả của kiến trúc hiện tại chưa?

Nếu có, lúc đó chúng ta bắt đầu bước vào bài toán Big Data.

Big Data thường được giải thích bằng các chữ V

Ngày trước Nha viết rằng Big Data có 5V.

Điều này vẫn là một cách giải thích rất hữu ích.

Nhưng Nha muốn bổ sung thêm một chút:

Không có một “bộ 5V duy nhất” bắt buộc mọi tài liệu phải sử dụng.

Có tài liệu mô tả Big Data bằng 3V:

  • Volume

  • Velocity

  • Variety

Có nơi bổ sung:

  • Veracity

Và có nơi thêm:

  • Value

Hiện IBM sử dụng mô hình 5V gồm Volume, Velocity, Variety, Veracity và Value.

Nha cũng thích bộ 5V này vì nó giúp người mới nhìn Big Data đầy đủ hơn.

Volume – Khối lượng dữ liệu

Đây là chữ V dễ hiểu nhất.

Volume là lượng dữ liệu.

Ví dụ một hệ thống thương mại điện tử có thể sinh ra:

  • lượt xem trang;

  • lượt tìm kiếm;

  • lượt xem sản phẩm;

  • click;

  • giỏ hàng;

  • đơn hàng;

  • thanh toán;

  • lịch sử giá;

  • log ứng dụng;

  • hành vi người dùng;

  • hình ảnh;

  • đánh giá;

  • hội thoại hỗ trợ.

Một người dùng có thể tạo ra hàng chục hoặc hàng trăm sự kiện trong một phiên.

Nhân với hàng triệu người dùng.

Nhân tiếp với nhiều năm.

Lúc đó dữ liệu bắt đầu khá lớn.

Nhưng như Nha vừa nói:

Volume chỉ là một phần của Big Data.

Nhiều chưa chắc khó.

Velocity – Tốc độ dữ liệu

Đây mới là phần thú vị.

Giả sử mỗi ngày hệ thống nhận 10 triệu bản ghi.

Nếu tất cả được gửi một lần lúc 2 giờ sáng và bạn có cả ngày hôm sau để xử lý, bài toán khá khác.

Nhưng nếu 10 triệu sự kiện đó đến liên tục và hệ thống cần phản ứng trong vài giây thì độ khó tăng lên nhiều.

Ví dụ:

Khách vừa thực hiện giao dịch bất thường.

Hệ thống chống gian lận phải phản ứng:

Ngày mai phân tích cũng được.

thì hơi muộn.

Hay khách vừa xem một sản phẩm.

Hệ thống recommendation đợi ba ngày sau mới gợi ý sản phẩm liên quan thì có thể khách đã mua ở chỗ khác rồi.

Đó là Velocity.

Không chỉ dữ liệu nhiều.

Mà dữ liệu đến nhanh và đôi khi giá trị của nó giảm rất nhanh theo thời gian.

Variety – Sự đa dạng của dữ liệu

Ngày trước làm hệ thống, Nha khá quen với kiểu:

Customer Product Order OrderDetail 

Database quan hệ.

Cột.

Dòng.

Khóa chính.

Khóa ngoại.

Rất đẹp.

Nhưng dữ liệu thực tế ngày nay có thể gồm:

Structured Data

Dữ liệu có cấu trúc:

  • khách hàng;

  • đơn hàng;

  • giao dịch;

  • sản phẩm.

Semi-structured Data

Dữ liệu bán cấu trúc:

{     "event": "product_view",     "product_id": 123,     "user_id": 456 } 

JSON, XML, log...

Unstructured Data

Dữ liệu phi cấu trúc:

  • hình ảnh;

  • video;

  • audio;

  • email;

  • tài liệu;

  • hội thoại;

  • nội dung mạng xã hội.

Đặc biệt khi AI phát triển, nhóm dữ liệu phi cấu trúc ngày càng quan trọng.

Một doanh nghiệp có thể có hàng triệu văn bản, cuộc trò chuyện, hình ảnh hay tài liệu nhưng trước đây chưa khai thác được hết.

Big Data không chỉ là:

Có rất nhiều dòng trong database.

Mà còn là:

Có rất nhiều loại dữ liệu khác nhau cần được kết nối và hiểu cùng nhau.

Veracity – Dữ liệu có đáng tin không?

Đây là chữ V Nha ngày càng thấy quan trọng.

Giả sử có:

100 triệu records 

Nghe rất Big Data.

Nhưng:

  • 20 triệu record trùng;

  • khách hàng có 5 ID khác nhau;

  • ngày sinh bị nhập sai;

  • số điện thoại thiếu;

  • dữ liệu bot lẫn với người thật;

  • tracking event bị bắn hai lần;

  • timezone sai;

  • nguồn A và nguồn B định nghĩa doanh thu khác nhau.

Thì 100 triệu records đó có thể tạo ra...

một báo cáo rất đẹp nhưng sai.

Nha từng nghĩ Big Data khó vì dữ liệu quá lớn.

Sau này mới thấy:

Dữ liệu sai mà càng lớn thì đôi khi chỉ giúp mình sai với quy mô lớn hơn.

Đó là Veracity.

Tính chính xác.

Độ tin cậy.

Nguồn gốc.

Tính nhất quán.

Data quality và data governance vì thế không phải việc phụ.

Chúng là phần rất quan trọng của bài toán dữ liệu.

Value – Cuối cùng dữ liệu dùng để làm gì?

Đây là chữ Nha thích nhất.

Một doanh nghiệp có thể lưu:

10 PB dữ liệu 

nhưng không ai sử dụng.

Một doanh nghiệp khác chỉ có:

100 GB dữ liệu 

nhưng dùng nó để:

  • giảm gian lận;

  • dự báo nhu cầu;

  • tối ưu tồn kho;

  • cá nhân hóa trải nghiệm;

  • tăng conversion;

  • giảm chi phí;

  • tìm nguyên nhân khách rời bỏ.

Theo Nha, doanh nghiệp thứ hai đang làm dữ liệu tốt hơn.

Bởi mục tiêu cuối cùng không phải:

Chúng tôi sở hữu Big Data.

Mà là:

Dữ liệu này giúp mình quyết định hoặc hành động tốt hơn điều gì?

Nếu không trả lời được câu đó, đôi khi chúng ta đang xây một cái kho rất lớn.

Chứ chưa chắc đang tạo ra giá trị.

Big Data không phải là một công nghệ

Đây cũng là một điều dễ nhầm.

Không có một phần mềm duy nhất tên:

BigData.exe 

Cài xong là công ty có Big Data.

Big Data là một bài toán dữ liệu.

Để giải quyết nó, chúng ta có thể sử dụng nhiều công nghệ khác nhau:

  • distributed storage;

  • distributed computing;

  • data warehouse;

  • data lake;

  • lakehouse;

  • stream processing;

  • NoSQL;

  • cloud storage;

  • Apache Spark;

  • Kafka;

  • các dịch vụ dữ liệu trên cloud.

Công nghệ thay đổi.

Bài toán vẫn là:

Làm sao thu thập, lưu trữ, xử lý, quản trị và khai thác dữ liệu ở quy mô phù hợp?

Hadoop có còn đồng nghĩa với Big Data không?

Ngày trước nói Big Data thường rất dễ đi cùng Hadoop.

Có lúc học Big Data gần như đồng nghĩa:

Học Hadoop.

Hadoop rất quan trọng trong lịch sử Big Data vì nó phổ biến cách lưu trữ và xử lý dữ liệu phân tán trên nhiều máy.

Nhưng ngày nay hệ sinh thái dữ liệu rộng hơn rất nhiều.

Cloud giúp doanh nghiệp sử dụng tài nguyên theo nhu cầu.

Apache Spark phổ biến cho xử lý dữ liệu.

Data warehouse trên cloud có thể xử lý dữ liệu rất lớn.

Data lake cho phép lưu nhiều loại dữ liệu.

Lakehouse cố gắng kết hợp ưu điểm của data lake và data warehouse.

Streaming platform xử lý dữ liệu liên tục.

Vì vậy:

Big Data không phải Hadoop.

Hadoop là một trong những công nghệ quan trọng từng giúp giải quyết Big Data.

Hai khái niệm không phải một.

Data Warehouse, Data Lake và Lakehouse khác Big Data thế nào?

Nha diễn giải đơn giản như sau.

Data Warehouse

Giống một kho dữ liệu đã được tổ chức khá cẩn thận.

Thường phục vụ:

  • báo cáo;

  • BI;

  • dashboard;

  • phân tích dữ liệu có cấu trúc.

Data Lake

Giống một hồ chứa lớn.

Có thể lưu:

  • structured data;

  • semi-structured data;

  • unstructured data.

Dữ liệu có thể được giữ ở dạng gần với nguyên bản để xử lý sau.

Data Lakehouse

Là cách tiếp cận cố gắng kết hợp:

sự linh hoạt của Data Lake

với:

khả năng quản lý và phân tích của Data Warehouse.

Nhưng cần nhớ:

Data Warehouse, Data Lake hay Lakehouse là kiến trúc/công nghệ quản lý dữ liệu.

Còn Big Data mô tả đặc điểm và bài toán của dữ liệu.

Đừng gom mọi khái niệm thành một.

Cloud đã làm Big Data thay đổi rất nhiều

Trong bài năm 2016, Nha từng viết đại ý:

Người dùng bình thường rất khó khai thác Big Data vì các giải pháp có thể tốn hàng trăm nghìn USD.

Nếu viết hôm nay, Nha sẽ không còn nói như vậy.

Cloud thay đổi khá nhiều thứ.

Ngày trước muốn xử lý dữ liệu rất lớn có thể phải:

  • mua server;

  • mua storage;

  • dựng cluster;

  • thuê đội vận hành;

  • đầu tư trước rất nhiều.

Ngày nay có thể thuê:

  • storage;

  • database;

  • data warehouse;

  • compute;

  • streaming;

  • machine learning;

theo nhu cầu.

Chưa kể rất nhiều công nghệ dữ liệu quan trọng là mã nguồn mở.

Điều đó không có nghĩa Big Data trở thành rẻ.

Xử lý hàng petabyte vẫn có thể rất tốn tiền.

Nhưng:

Rào cản để bắt đầu đã thấp hơn rất nhiều.

Một nhóm nhỏ hoàn toàn có thể xây những pipeline dữ liệu mà năm 2016 cần một hệ thống phức tạp hơn rất nhiều.

Big Data và AI có phải một thứ không?

Không.

Đây là hai khái niệm khác nhau.

Big Data tập trung vào:

lưu trữ, xử lý và khai thác dữ liệu có quy mô hoặc độ phức tạp lớn.

AI tập trung vào:

xây dựng hệ thống có khả năng thực hiện những nhiệm vụ liên quan đến nhận diện, dự đoán, sinh nội dung, ra gợi ý hoặc tự động hóa dựa trên mô hình.

Nhưng hai thứ ngày càng liên quan.

Machine Learning cần dữ liệu để học.

Deep Learning thường cần lượng dữ liệu lớn.

Generative AI cũng mở ra nhu cầu khai thác rất nhiều:

  • văn bản;

  • hình ảnh;

  • audio;

  • video;

  • tài liệu doanh nghiệp.

Nhưng có một hiểu lầm Nha muốn tránh:

Có nhiều dữ liệu không tự nhiên tạo ra AI tốt.

Nếu dữ liệu:

  • sai;

  • trùng;

  • thiên lệch;

  • thiếu ngữ cảnh;

  • không được quản trị;

  • không có quyền sử dụng rõ ràng;

thì mô hình AI vẫn có thể tạo ra kết quả tệ.

Big Data giúp chúng ta có nhiều nguyên liệu.

Data quality quyết định nguyên liệu đó có dùng được không.

AI/ML quyết định chúng ta xử lý nguyên liệu theo cách nào.

Đừng trộn ba việc thành một.

Google Flu Trends – một ví dụ mà Nha muốn sửa lại

Đây là phần thú vị nhất khi Nha đọc lại bài năm 2016.

Ngày đó Nha dùng Google Flu Trends như một ví dụ rất đẹp về sức mạnh Big Data.

Ý tưởng nghe quá hay.

Google nhìn vào lượng tìm kiếm liên quan đến triệu chứng cúm.

Từ đó dự đoán mức độ lây lan của dịch.

Nhanh hơn dữ liệu y tế truyền thống.

Quá đẹp cho một bài Big Data.

Nhưng câu chuyện sau đó không đẹp hoàn toàn như vậy.

Google Flu Trends từng gặp những sai số rất lớn.

Một số nghiên cứu chỉ ra hệ thống đã có thời điểm đánh giá mức độ cúm cao hơn đáng kể so với dữ liệu giám sát thực tế.

Google Flu Trends sau đó ngừng hoạt động vào năm 2015.

Và đây lại trở thành một bài học Big Data còn hay hơn ví dụ Nha từng viết.

Bài học là:

Big Data không thay thế tư duy khoa học.

Có hàng tỷ dữ liệu không có nghĩa mô hình sẽ đúng.

Correlation không tự nhiên trở thành causation.

Hành vi con người thay đổi.

Thuật toán thay đổi.

Nguồn dữ liệu thay đổi.

Media có thể ảnh hưởng đến lượng tìm kiếm.

Bias vẫn tồn tại.

Model drift vẫn tồn tại.

Nha thấy đây là một bài học rất đáng nhớ:

More data không tự động đồng nghĩa với better data.

Có khi dữ liệu ít hơn nhưng được lấy mẫu và kiểm soát tốt lại đáng tin hơn.

Big Data được ứng dụng vào đâu?

Ứng dụng thì rất nhiều.

Nhưng Nha thích chia theo bài toán thay vì liệt kê ngành.

Cá nhân hóa

Một hệ thống có thể học từ:

xem gì → tìm gì → click gì → mua gì → bỏ gì 

để đưa ra recommendation phù hợp hơn.

Phát hiện gian lận

Phân tích lượng giao dịch lớn để tìm:

  • hành vi bất thường;

  • giao dịch đáng ngờ;

  • pattern khác thường.

Dự báo

Dữ liệu lịch sử kết hợp các yếu tố khác có thể giúp dự đoán:

  • nhu cầu;

  • doanh số;

  • tồn kho;

  • lưu lượng;

  • churn.

Vận hành

Log từ hàng nghìn máy chủ, thiết bị và ứng dụng có thể được phân tích để:

  • phát hiện lỗi;

  • cảnh báo;

  • tìm bottleneck;

  • dự báo sự cố.

IoT

Cảm biến liên tục sinh dữ liệu về:

  • nhiệt độ;

  • vị trí;

  • tốc độ;

  • máy móc;

  • phương tiện;

  • môi trường.

Đây là bài toán điển hình của Volume + Velocity.

Marketing và trải nghiệm khách hàng

Dữ liệu từ:

  • website;

  • ứng dụng;

  • CRM;

  • quảng cáo;

  • giao dịch;

  • chăm sóc khách hàng;

có thể được kết nối để hiểu hành trình người dùng tốt hơn.

Nhưng Nha nhấn mạnh:

Thu thập được không đồng nghĩa được phép sử dụng tùy ý.

Privacy, consent, security và governance phải đi cùng dữ liệu.

Một doanh nghiệp nhỏ có cần Big Data không?

Không nhất thiết.

Đây là một câu hỏi Nha thấy rất thực tế.

Nếu doanh nghiệp có 100.000 dòng dữ liệu và Excel giải quyết tốt thì:

Cứ dùng Excel.

Không cần dựng Hadoop cluster để trông công nghệ hơn.

Nếu SQL Server xử lý ổn:

Cứ dùng SQL Server.

Nếu PostgreSQL xử lý tốt:

Cứ dùng PostgreSQL.

Công nghệ tốt nhất không phải công nghệ nghe hoành tráng nhất.

Mà là:

Công nghệ đủ để giải quyết bài toán với chi phí hợp lý.

Nha rất thích nguyên tắc:

Đừng xây Big Data trước khi thực sự có bài toán Big Data.

Vậy khi nào bắt đầu nghĩ tới kiến trúc Big Data?

Nha sẽ nhìn một số tín hiệu.

Dữ liệu tăng quá nhanh

Hệ thống hiện tại bắt đầu quá tải.

Có nhiều loại dữ liệu

Không chỉ bảng quan hệ mà còn log, JSON, ảnh, tài liệu, sự kiện...

Cần xử lý gần real-time

Batch cuối ngày không còn đủ.

Một máy không giải quyết tốt

Cần phân tán storage hoặc compute.

Chi phí bắt đầu mất kiểm soát

Kiến trúc hiện tại vẫn chạy nhưng scale lên quá đắt.

Nhiều nhóm cần dùng cùng dữ liệu

BI, Data Science, AI, vận hành và sản phẩm đều cần truy cập.

Đó là lúc cần nghĩ nghiêm túc về kiến trúc dữ liệu.

Không phải lúc đọc báo thấy:

Big Data đang là xu hướng.

Nếu xây hệ thống dữ liệu từ đầu, Nha sẽ nghĩ theo thứ tự nào?

Không bắt đầu từ tool.

Không phải:

Dùng Spark hay Databricks?

Kafka hay cái khác?

Data Lake hay Lakehouse?

Nha sẽ bắt đầu:

1. Bài toán là gì?

Muốn cải thiện quyết định nào?

2. Cần dữ liệu gì?

Không phải dữ liệu nào thu được cũng cần lưu.

3. Dữ liệu đến từ đâu?

Website?

App?

CRM?

Transaction?

IoT?

Third-party?

4. Chất lượng thế nào?

Ai chịu trách nhiệm?

Định nghĩa metric ra sao?

5. Cần nhanh đến mức nào?

Real-time?

5 phút?

1 giờ?

Ngày hôm sau?

6. Ai sử dụng?

Dashboard?

Data Analyst?

Data Scientist?

AI?

Ứng dụng production?

7. Giá trị tạo ra có lớn hơn chi phí không?

Đây là chữ Value quay trở lại.

Tool đứng sau những câu hỏi đó.

Điều Nha từng hiểu chưa đủ về Big Data

1. Big Data là dữ liệu cực kỳ lớn

Đúng nhưng chưa đủ.

Volume chỉ là một chiều.

2. Phải đạt TB hoặc PB mới gọi là Big Data

Không có một ngưỡng cố định như vậy.

Nó còn phụ thuộc bài toán và hệ thống.

3. Có nhiều dữ liệu thì phân tích sẽ chính xác hơn

Không.

Google Flu Trends là một ví dụ rất đáng học.

Big data không thay thế good data.

4. Big Data rất đắt và chỉ công ty lớn mới làm được

Không còn đúng như trước.

Cloud và mã nguồn mở đã giảm đáng kể rào cản tiếp cận.

5. Big Data đồng nghĩa Hadoop

Không.

Hadoop là một phần quan trọng trong lịch sử Big Data, không phải định nghĩa của Big Data.

6. Thu thập càng nhiều dữ liệu càng tốt

Nha không còn nghĩ vậy.

Thu thập dữ liệu phải đi cùng:

  • mục đích;

  • chất lượng;

  • bảo mật;

  • privacy;

  • governance;

  • chi phí.

7. Big Data tự nhiên tạo ra giá trị

Không.

Dữ liệu nằm trong kho vẫn chỉ là dữ liệu.

Giá trị chỉ xuất hiện khi nó giúp chúng ta:

hiểu tốt hơn,

quyết định tốt hơn,

hoặc hành động tốt hơn.

Big Data năm 2026 còn quan trọng không?

Có.

Chỉ là chúng ta ít phải hô:

BIG DATA!

như thời điểm khoảng một thập niên trước.

Nhiều thứ từng được gọi là Big Data giờ đã trở thành hạ tầng khá bình thường của hệ thống hiện đại:

  • cloud data warehouse;

  • data lake;

  • streaming;

  • distributed computing;

  • analytics;

  • machine learning;

  • lakehouse;

  • AI.

Big Data không biến mất.

Nó dần trở thành một phần của data engineering và data platform.

Và AI lại khiến câu chuyện dữ liệu quan trọng hơn.

AI có thể rất thông minh.

Nhưng cuối cùng nó vẫn phải dựa vào dữ liệu.

Nếu dữ liệu doanh nghiệp mỗi nơi một kiểu, không biết nguồn nào đúng, khách hàng bị trùng, metric không thống nhất...

thì trước khi nói đến AI, có khi việc nên làm là:

Dọn dữ liệu trước đã.

Không hào nhoáng bằng demo AI.

Nhưng thường hữu ích hơn.

Bạn nên mang gì về sau bài này?

Nếu chỉ nhớ năm điều, Nha chọn:

1. Big Data không đơn giản là dữ liệu rất nhiều

Hãy nghĩ đến Volume, Velocity, Variety, Veracity và Value.

2. Không có ngưỡng TB hay PB cố định

“Big” phụ thuộc vào bài toán và khả năng của hệ thống.

3. Nhiều dữ liệu không đồng nghĩa dữ liệu tốt

Data quality quan trọng hơn việc khoe số lượng record.

4. Big Data không phải một công nghệ

Hadoop, Spark, Data Lake, Warehouse, Lakehouse hay cloud chỉ là những công cụ và kiến trúc để giải quyết bài toán.

5. Value mới là đích đến

Nếu dữ liệu không giúp giải quyết vấn đề nào thì có bao nhiêu petabyte cũng chưa nói lên nhiều điều.

Nếu phải rút lại thành một câu, Nha chọn:

Đừng bắt đầu Big Data bằng câu hỏi “chúng ta có bao nhiêu dữ liệu?”, hãy bắt đầu bằng “dữ liệu này giúp chúng ta làm gì tốt hơn?”.

Mười năm trước Nha mua một cuốn sách vì nhìn thấy chữ Big Data.

Lúc đó bị thu hút bởi chữ Big.

Bây giờ đọc lại bài này, Nha thấy chữ đáng quan tâm hơn lại là:

Value.

Có lẽ đó cũng là điều hay của việc giữ blog lâu năm.

Không chỉ thấy công nghệ đã thay đổi.

Mà còn thấy chính cách mình hiểu công nghệ đã thay đổi như thế nào.

Tài liệu tham khảo

Trong quá trình cập nhật lại bài viết được viết từ năm 2016, Nha tham khảo và đối chiếu thêm các tài liệu về Big Data, kiến trúc dữ liệu và một số ví dụ được nhắc đến trong phiên bản cũ:

Bài viết gốc được Nha xuất bản ngày 11/10/2016 và được cập nhật lại vào tháng 09/2026. Nội dung mới là cách Nha nhìn lại kiến thức cũ sau khi đối chiếu với tài liệu hiện tại và những thay đổi của công nghệ dữ liệu trong khoảng 10 năm qua. Phiên bản năm 2016 vẫn được giữ ở cuối bài để tham khảo và so sánh.

Phiên bản bài viết năm 2016

Nội dung lưu trữ: Phần dưới đây là phiên bản gốc được Nha xuất bản ngày 11/10/2016. Nha giữ nguyên để người đọc có thể so sánh cách Big Data, công nghệ dữ liệu và chính cách Nha hiểu về dữ liệu đã thay đổi sau 10 năm. Một số số liệu, ví dụ, dự báo và nhận định trong phần này đã lỗi thời; nếu bạn đang tìm kiến thức áp dụng hiện nay, hãy ưu tiên nội dung cập nhật phía trên.

Hôm rồi buồn buồn đi đường sách chơi thì gặp cuốn sách "Big Data" của Lisa Arthur, khi nhìn thấy có gì đó khá quen và hào hứng, mua ngay. Sách tập trung vào giải quyết vấn đề tiếp thị trên búi dữ liệu khổng lồ. Nhưng trước tiên mình cần hiểu về Big Data, hôm nay rảnh hỏi bác Gồ mới hiêu hơn chút chút, mời cùng tìm hiểu khái niệm cơ bản về Big Data và làm sao để khai thác và ứng dụng nó trong công việc cũng như trong cuộc sống hàng ngày.

Tiếng Anh Big = lớn, Data = Dữ liệu => Big Data = dữ liệu lớn, cái này thì ai cũng biết rồi.

Khái niệm Big Data

Big Data là thuật ngữ dùng để chỉ một tập hợp dữ liệu rất lớn và rất phức tạp đến nỗi những công cụ, ứng dụng xử lí dữ liệu truyền thống không thể nào đảm đương được. Tuy nhiên, Big Data lại chứa trong mình rất nhiều thông tin quý giá mà nếu trích xuất thành công, nó sẽ giúp rất nhiều cho việc kinh doanh, nghiên cứu khoa học, dự đoán các dịch bệnh sắp phát sinh và thậm chí là cả việc xác định điều kiện giao thông theo thời gian thực. Chính vì thế, những dữ liệu này phải được thu thập, tổ chức, lưu trữ, tìm kiếm, chia sẻ theo một cách khác so với bình thường. Kích cỡ của Big Data đang từng ngày tăng lên, và tính đến năm 2012 thì nó có thể nằm trong khoảng vài chục terabyte cho đến nhiều petabyte (1 petabyte = 1024 terabyte) chỉ cho một tập hợp dữ liệu mà thôi.
 
Chúng ta có thể lấy các thí nghiệm của Máy gia tốc hạt lớn (LHC) ở Châu Âu làm ví dụ cho Big Data. Khi các thí nghiệm này được tiến hành, kết quả sẽ được ghi nhận bởi 150 triệu cảm biến với nhiệm vụ truyền tải dữ liệu khoảng 40 triệu lần mỗi giây. Kết quả là nếu như LHC ghi nhận hết kết quả từ mọi cảm biến thì luồng dữ liệu sẽ trở nên vô cùng lớn, có thể đạt đến 150 triệu petabyte mỗi năm, hoặc 500 exabyte mỗi ngày, cao hơn 200 lần so với tất cả các nguồn dữ liệu khác trên thế giới gộp loại. 
 
Trong mỗi giây như thế lại có đến khoảng 600 triệu vụ va chạm giữa các hạt vật chất diễn ra, nhưng sau khi chọn lọc lại từ khoảng 99,999% các luồng dữ liệu đó, chỉ có tầm 100 vụ va chạm là được các nhà khoa học quan tâm. Điều này có nghĩa là cơ quan chủ quản LHC phải tìm những biện pháp mới để quản lý và xử lí hết mớ dữ liệu khổng lồ này.
 
Hoặc như công tác giải mã di truyền của con người chẳng hạn. Trước đây công việc này mất đến 10 năm để xử lí, còn bây giờ người ta chỉ cần một tuần là đã hoàn thành. Còn Trung tâm giả lập khí hậu của NASA thì đang chứa 32 petabyte dữ liệu về quan trắc thời tiết và giả lập trong siêu máy tính của họ. Việc lưu trữ hình ảnh, văn bản và các nội dung đa phương tiện khác trên Wikipedia cũng như ghi nhận hành vi chỉnh sửa của người dùng cũng cấu thành một tập hợp Big Data lớn.

Thuật ngữ của Big Data

Nói đến Big Data người ta thường nói có 5 chữ V thể hiện đặc trưng của Big Data. 5V đó là:

Volume

Volume là sự tăng trưởng về mặt khối lượng. Dữ liệu trong các hệ thống thông tin luôn luôn và không ngừng tăng lên về mặt kích thước (khối lượng). Chúng ta có thể tìm thấy dữ liệu trong các định dạng video, music, image lớn trên các kênh truyền thông xã hội. Khối lượng dữ liệu của một hệ thống thông tin có thể lên đến hàng Terabyte và Petabyte.

Velocity

Velocity là sự tăng trưởng về mặt tốc độ. Bên cạnh sự tăng trưởng về khối lượng, tốc độ tăng trưởng của dữ liệu cũng tăng lên một cách chóng mặt. Một ví dụ đơn giản là trên các mạng xã hội đôi khi các thông báo cách đó vài giây (tweet, status,….) đã là cũ và không được người dùng quan tâm. Người dùng thường loại bỏ các tin nhắn cũ và chỉ chú ý đến các cập nhật gần nhất. Sự chuyển động của dữ liệu bây giờ hầu như là thực tế (real time) và tốc độ cập nhật thông tin đã giảm xuống đơn vị hàng mili giây.

Variety

Variety là sự tăng lên về tính đa dạng của dữ liệu. Dữ liệu không chỉ ở dạng có cấu trúc, mà còn bao gồm rất nhiều kiểu dữ liệu phi cấu trúc nữa như video, hình ảnh, dữ liệu cảm biến, cũng như các file log. Dữ liệu của một doanh nghiệp hay một hệ thống thông tin ngày nay không còn đơn giản chỉ có một hoặc một vài loại dữ liệu nữa, mà tính đa dạng của nó cũng đang ngày càng tăng lên làm cho tính phức tạp của dữ liệu ngày càng phức tạp hơn.

Veracity

Veracity là tính xác thực của dữ liệu. Với xu hướng Social ngày nay và sự gia tăng mạnh mẽ tính tương tác và chia sẻ của người dùng Mobile làm cho bức tranh xác định về độ tin cậy & chính xác của dữ liệu ngày một khó khăn hơn. Bài toán phân tích và loại bỏ dữ liệu thiếu chính xác và nhiễu đang là tính chất quan trọng của Big Data.
 

Value

Giá trị thông tin là tính chất quan trọng nhất của xu hướng công nghệ Big Data. Ở đây doanh nghiệp phải hoạch định được những giá trị thông tin hữu ích của BigData cho vấn đề, bài toán hoặc mô hình hoạt động kinh doanh của mình. Có thể nói việc đầu tiên là phải xác định được tính chất “Value” thì mới nên bắt tay vào BigData.

Tình hình Big Data hiện nay

Theo tài liệu của Intel vào tháng 9/2013, hiện nay thế giới đang tạo ra 1 petabyte dữ liệu trong mỗi 11 giây và nó tương đương với một đoạn video HD dài 13 năm. Bản thân các công ty, doanh nghiệp cũng đang sở hữu Big Data của riêng mình, chẳng hạn như trang bán hàng trực tuyến eBay thì sử dụng hai trung tâm dữ liệu với dung lượng lên đến 40 petabyte để chứa những truy vấn, tìm kiếm, đề xuất cho khách hàng cũng như thông tin về hàng hóa của mình.
 
Nhà bán lẻ online Amazon.com thì phải xử lí hàng triệu hoạt động mỗi ngày cũng như những yêu cầu từ khoảng nửa triệu đối tác bán hàng. Amazon sử dụng một hệ thống Linux và hồi năm 2005, họ từng sở hữu ba cơ sở dữ liệu Linux lớn nhất thế giới với dung lượng là 7,8TB, 18,5TB và 24,7TB.
 
Tương tự, Facebook cũng phải quản lí 50 tỉ bức ảnh từ người dùng tải lên, YouTube hay Google thì phải lưu lại hết các lượt truy vấn và video của người dùng cùng nhiều loại thông tin khác có liên quan.
 
Còn theo tập đoàn SAS, chúng ta có một vài số liệu thú vị về Big Data như sau:
Các hệ thống RFID (một dạng kết nối tầm gần, như kiểu NFC nhưng có tầm hoạt động xa hơn và cũng là thứ dùng trong thẻ mở cửa khách sạn) tạo ra lượng dữ liệu lớn hơn 1.000 lần so với mã vạc truyền thống
 
Chỉ trong vòng 4 giờ của ngày “Black Friday” năm 2012, cửa hàng Walmart đã phải xử lí hơn 10 triệu giao dịch tiền mặt, tức là khoản 5.000 giao dịch mỗi giây.
Dịch vụ chuyển phát UPS nhận khoảng 39,5 triệu yêu cầu từ khách hàng của mình mỗi ngày
Dịch vụ thẻ VISA xử lí hơn 172.800.000 giao dịch thẻ chỉ trong vòng một ngày mà thôi
Trên Twitter có 500 triệu dòng tweet mới mỗi ngày, Facebook thì có 1,15 tỉ thành viên tạo ra một mớ khổng lồ dữ liệu văn bản, tập tin, video…

Ứng dụng Big Data trong cuộc sống

Tập đoàn SAS nói vấn đề thật sự không nằm ở việc bạn thu thập dữ liệu, thay vào đó, là bạn dùng Big Data để làm gì. Nhìn chung, có bốn lợi ích mà Big Data có thể mang lại: cắt giảm chi phí, giảm thời gian, tăng thời gian phát triển và tối ưu hóa sản phẩm, đồng thời hỗ trợ con người đưa ra những quyết định đúng và hợp lý hơn.
 
Nếu để ý một chút, bạn sẽ thấy khi mua sắm online trên eBay, Amazon hoặc những trang tương tự, trang này cũng sẽ đưa ra những sản phẩm gợi ý tiếp theo cho bạn, ví dụ khi xem điện thoại, nó sẽ gợi ý cho bạn mua thêm ốp lưng, pin dự phòng; hoặc khi mua áo thun thì sẽ có thêm gợi ý quần jean, dây nịt... Do đó, nghiên cứu được sở thích, thói quen của khách hàng cũng gián tiếp giúp doanh nghiệp bán được nhiều hàng hóa hơn.
 
Vậy những thông tin về thói quen, sở thích này có được từ đâu? Chính là từ lượng dữ liệu khổng lồ mà các doanh nghiệp thu thập trong lúc khách hàng ghé thăm và tương tác với trang web của mình. Chỉ cần doanh nghiệp biết khai thác một cách có hiệu quả Big Data thì nó không chỉ giúp tăng lợi nhuận cho chính họ mà còn tăng trải nghiệm mua sắm của người dùng, chúng ta có thể tiết kiệm thời gian hơn nhờ những lời gợi ý so với việc phải tự mình tìm kiếm.
 
Người dùng cuối như mình và các bạn sẽ được hưởng lợi cũng từ việc tối ưu hóa như thế, chứ bản thân chúng ta thì khó mà tự mình phát triển hay mua các giải pháp để khai thác Big Data bởi giá thành của chúng quá đắt, có thể đến cả trăm nghìn đô. Ngoài ra, lượng dữ liệu mà chúng ta có được cũng khó có thể xem là “Big” nếu chỉ có vài Terabyte sinh ra trong một thời gian dài.
 
Xa hơi một chút, ứng dụng được Big Data có thể giúp các tổ chức, chính phủ dự đoán được tỉ lệ thất nghiệp, xu hướng nghề nghiệp của tương lai để đầu tư cho những hạng mục đó, hoặc cắt giảm chi tiêu, kích thích tăng trưởng kinh tế, v/v... thậm chí là ra phương án phòng ngừa trước một dịch bệnh nào đó, giống như trong phim World War Z, nước Israel đã biết trước có dịch zombie nên đã nhanh chóng xây tường thành ngăn cách với thế giới bên ngoài.
 
Mà cũng không cần nói đến tương lai phim ảnh gì cả, vào năm 2009, Google đã sử dụng dữ liệu Big Data của mình để phân tích và dự đoán xu hướng ảnh hưởng, lan truyền của dịch cúm H1N1 đấy thôi. Dịch vụ này có tên là Google Flu Trends. Xu hướng mà Google rút ra từ những từ khóa tìm kiếm liên quan đến dịch H1N1 đã được chứng minh là rất sát với kết quả do hai hệ thống cảnh báo cúm độc lập Sentinel GP và HealthStat đưa ra. Dữ liệu của Flu Trends được cập nhật gần như theo thời gian thực và sau đó sẽ được đối chiếu với số liệu từ những trung tâm dịch bệnh ở nhiều nơi trên thế giới.
 
Còn theo Oracle, việc phân tích Big Data và những dữ liệu dung lượng lớn đã giúp các tổ chức kiếm được 10,66$ cho mỗi 1$ chi phí phân tích, tức là gấp 10 lần! Một trường học ở một quận lớn tại Mỹ cũng có được sự tăng trưởng doanh thulà 8 triệu USD mỗi năm, còn một công ty tài chính ẩn danh khác thì tăng 1000% lợi nhuận trên tổng số tiền đầu tư của mình trong vòng 3 năm.

Chỉ trích đối với Big Data

Có hai hướng chỉ trích chính đối với Big Data, một là về cách mà người ta sử dụng Big Data, cái còn lại thì liên quan đến việc tiến hành lấy thông tin từ Big Data mà thế giới đang làm.

A. Chỉ trích về Big Data

Chris Anderson, một nhà khởi nghiệp và cũng là một người viết sách, cho rằng việc sử dụng Big Data luôn cần phải được ngữ cảnh hóa trong các bối cảnh về xã hội, kinh tế và chính trị. Ví dụ, ngay cả khi các công ty đã đầu tư hàng tỉ USD vào Big Data và lấy được thông tin về nhiều thứ nhưng chỉ có ít hơn 40% nhân viên thật sự có thể hiểu và tận dụng các thông tin này. Điều đó làm giảm hiệu quả của Big Data đi nhiều so với lúc đầu, dẫn đến lãng phí tài nguyên.
 
Ngoài ra, còn có chỉ trích rằng Big Data chỉ có thể miêu tả thế giới trong quá khứ bởi nó dựa trên các dữ liệu đã sinh ra từ trước, và nếu tốt lắm thì chỉ miêu tả được trong hiện thực. Việc sử dụng Big Data để nói về tương lai thì cần phải kết hợp thêm với các phương pháp mô hình, mô phỏng hay nghiên cứu về sự chuyển động của thế giới thì mới đưa ra dự đoán chính xác được.
 
Bên cạnh đó, người ta còn lo lắng về vấn đề quyền riêng tư của người dùng. Việc thu thập Big Data có thể sẽ đi kèm thông tin có khả năng định dạng người dùng mà không được sự đồng ý của họ, và điều đó vi phạm luật ở một số quốc gia. Nhiều chuyên gia từ nhiều lĩnh vực khác nhau hiện đang thúc đẩy việc bảo vệ quyền riêng tư khi sử dụng Big Data.

B. Chỉ trích về việc lấy thông tin từ Big Data

Nhà nghiên cứu Danah Boyd đã đưa ra quan ngại của mình rằng việc sử dụng Big Data trong việc chọn mẫu thống kê có thể gây ra sự chủ quan, và dù ít hay nhiều thì nó cũng có thể ảnh hưởn đến kết quả cuối cùng. Việc khai thác dữ liệu từ một số nguồn là Big Data, trong khi những nguồn khác không phải là “dữ liệu lớn” thì đặt ra những thách thức khi phân tích dữ liệu.

Tương lai của Big Data

Erik Swan, đồng sáng lập kiêm giám đốc công nghệ của công ty Spunk, dự đoán rằng sự thay đổi nhất trong Big Data chính là thái độ của mọi người đối với nó. Việc tiêu thụ một lượng dữ liệu lớn sẽ dần phổ biến hơn với mọi người, từ những người nông dân cho đến các anh kĩ sư. Mọi người sẽ mặc định sử dụng dữ liệu để phân tích mọi thứ trong vòng 10 năm tới. Tất nhiên là kĩ thuật và công nghệ cũng cần phải phát triển theo thì điều này mới có thể trở thành hiện thực.
 
Còn theo Ankur Jain, nhà sáng lập và CEO của Humin, ngữ cảnh phát sinh ra dữ liệu sẽ trở nên quan trọng hơn. “Chúng ta sẽ bắt đầu định tuyến dữ liệu vào các đối tượng, sự vật, sự việc trong đời thực và chuyện đó giúp chúng ta xử lí công việc tốt hơn”.
 
Trong khi đó, Daniel Kaufman, giám đốc đổi mới về thông tin của cơ quan nghiên cứu thuộc Bộ quốc phòng Mỹ thì cho rằng dữ liệu sinh học sẽ ngày càng được quan tâm hơn, và rồi người ta sẽ dùng dữ liệu này để đưa ra những lời khuyên có ảnh hưởng lớn đến lối sống và cuộc đời của con người. Ví dụ, bạn có nên thêm một dĩa cơm tấm sườn nữa không, hay là nên ăn thêm một dĩa cơm gà? Bộ quốc phòng Mỹ muốn sử dụng kiểu suy nghĩ như thế (thay cơm bằng pizza nhé) để áp dụng cho binh lính của mình và hiện họ đang thử nghiệm trên chuột.
 
Giám đốc Swan còn suy nghĩ thêm rằng các công ty chuyên cung cấp giải pháp Big Data sẽ không còn bán dữ liệu và phân tích cho từng doanh nghiệp hay công ty riêng lẻ để phục vụ cho những mục đích quá chuyên biệt. Thay vào đó, họ sẽ mở rộng nó và áp dụng Big Data nhằm giải quyết những vấn đề trong đời thường và trả lời cho các nhu cầu cơ bản của con người. Đó sẽ là sự thay đổi về tính ứng dụng của Big Data.
 
Trong tương lai, chúng ta sẽ còn tiếp tục chứng kiến sự tăng trưởng của Big Data. Hiện nay có thể bạn cũng đã nghe đến khái niệm Internet of Things, tức là mang Internet đến với mọi thứ trong đời sống hằng ngày. Dữ liệu từ Internet of Things thực chất cũng là được thu thập từ một mạng lưới rất nhiều các cảm biến và thiết bị điện tử, và nó cũng là một trong những nguồn của Big Data. Lượng dữ liệu khổng lồ này có thể cho các nhà nghiên cứu biết được hành vi tiêu dùng của khách hàng, từ đó tinh chỉnh những thiết bị Internet of Things cho phù hợp hơn, bắt chúng phục vụ đời sống hằng ngày của chúng ta một cách hiệu quả hơn. Nó cũng có thể được dùng cho việc sản xuất, từ đó giảm sự liên quan của con người. Như lời của Daniel Kaufman dự đoán thì “con người sẽ làm ít hơn” nhờ Big Data.

Làm sao để giải quyết bài toán Big Data?

Để có thể giải quyết bài toán Big Data, bạn phải có những kiến thức cơ bản về những lĩnh vực sau:
 
- Kiến thức về khoa học dữ liệu
- Kiến thức cơ bản toán học, thống kê và máy học
- Kiến thức về lập trình
- Kiến thức về cơ sở dữ liệu
- Ngoài ra bạn cần phải tìm hiểu thêm các kiến thức về toán học, thống kê và máy học nữa.
 
Kết luận: Big Data chứa trong nó rất nhiều thông tin hữu ích mà nếu các doanh nghiệp, tổ chức biết cách khai thác thì hoàn toàn có thể biến những thông tin đó trở thành những giá trị hiện thực, cắt giảm chi phí, đem lại nhiều lợi nhuận cho tổ chức, doanh nghiệp sở hữu chúng. Big Data còn là lĩnh vực mới mẻ, tuy nhiên tiềm năng khai thác của nó là rất lớn, chắc chắn sẽ là lĩnh vực phát triển bùng nổ trong tương lai gần.

Cảm ơn bạn đã đọc hết bài viết!

Nha thân tặng bộ source code blog này cho những ai quan tâm.

Tổng hợp

Bài khác

Bài viết mới

Có thể bạn thích

Gửi tặng website cá nhân xịn xò cho các Content-er

Để gửi lời cảm ơn cũng như hỗ trợ các bạn Content sở hữu một website cá nhân riêng chuyên nghiệp - nó giống như một CV/Portfolio online của chính bạn Contenter đó. Nha gửi tặng một website đầy đủ tính năng cho nhóm Tâm sự Content.

Câu chuyện về 80 năm đời người

Câu chuyện vui giải thích về quy luật năm tháng đời người. Đơn giản mà thâm thúy.