Big data – termin odnoszący się do bardzo dużych, szybko przyrastających i zróżnicowanych zbiorów danych, których przechowywanie, przetwarzanie i analiza wymagają bardziej zaawansowanych rozwiązań niż w przypadku klasycznych baz danych. Big data nie oznacza więc wyłącznie „bardzo dużej ilości danych”, czyli bardzo dużej próby obserwacji, ale także ich dużą różnorodność (duża liczba zmiennych niezależnych i zależnych), szybkie tempo powstawania oraz konieczność zastosowania skalowalnych metod przetwarzania.
Big data tradycyjnie opisuje się za pomocą modelu 3V:
Dane mogą pochodzić jednocześnie z baz transakcyjnych, mediów społecznościowych, urządzeń mobilnych, czujników, systemów informatycznych, obrazów, nagrań, tekstów czy danych geolokalizacyjnych. Z czasem model 3V rozszerzano o kolejne cechy. Często wymienia się między innymi veracity, czyli wiarygodność i jakość danych, oraz value, czyli wartość informacji możliwych do uzyskania na ich podstawie.
Jednym z głównych problemów związanych z big data jest to, że duża ilość danych nie oznacza automatycznie dużej ilości użytecznej informacji. Zbiory mogą zawierać błędy, duplikaty, braki danych, informacje nieistotne lub dane zapisane w niejednolitych formatach. Dlatego znaczna część pracy polega na ich oczyszczaniu, integracji i odpowiednim przygotowaniu do analizy. W przypadku big data wyzwaniem jest nie tylko analiza danych, ale również ich przechowywanie, przesyłanie, łączenie oraz przetwarzanie w rozsądnym czasie .
Z tego względu wykorzystuje się między innymi przetwarzanie rozproszone, rozwiązania chmurowe, rozproszone bazy danych oraz narzędzia umożliwiające wykonywanie obliczeń równolegle na wielu komputerach. Sama analiza nie musi jednak oznaczać wyłącznie stosowania sztucznej inteligencji lub uczenia maszynowego. W zależności od problemu badawczego do dużych zbiorów danych mogą być stosowane również klasyczne metody statystyczne, takie jak analiza regresji liniowej, analiza wariancji, analiza skupień czy metody przeznaczone do analizy szeregów czasowych.
Big data jest jednocześnie ściśle związane z rozwojem analizy danych, uczenia maszynowego i sztucznej inteligencji. Duże zbiory danych mogą być wykorzystywane do budowania modeli predykcyjnych, wykrywania wzorców, klasyfikowania obserwacji, identyfikowania anomalii oraz wspomagania podejmowania decyzji. Duża skala danych nie zastępuje jednak poprawnie dobranej metody statystycznej – zwiększa jedynie możliwości analizy i precyzję estymacji, jeżeli dane są odpowiedniej jakości . Dobrym przykładem są media społecznościowe, które generują ogromne ilości informacji o aktywności użytkowników. Pojedyncze dane mogą mieć niewielką wartość, jednak ich łączna analiza pozwala identyfikować wzorce zachowania, zainteresowania czy zmiany trendów.