Big Data merupakan teknologi yang masih tergolong baru, yang mana sangat tidak ekonomis karena membutuhkan software dan hardware yang mahal untuk mengolah kumpulan data masif tersebut. Kabar baiknya sekarang sudah banyak perusahaan IT raksasa yang memprakarsai produksi platform data processing agar hasil analisis akurat dan real-time.
Nah, teknologi yang membantu Big Data adalah The Hadoop Ecosystem, yang mana juga bisa disebut sebagai solusi dari masalah-masalah Big Data yang belum teratasi. The Hadoop Ecosystem bukanlah aplikasi, melainkan framework yang open source, jadi bisa dimodifikasi pengguna sesuai dengan kebutuhan.
The Hadoop Ecosystem memiliki bagian dengan tugas yang berbeda-beda, yaitu sebagai berikut :
- HDFS/ Hadoop Distributed File System, yang terdiri dari Name node (merekam metadata dari sebuah file) dan Data node (merekam data sesungguhnya).
- Yarn, bertugas untuk mengatur ulang prosesi data yang terjadi di HDFS. Selain Yarn alat pendukung Hadoop lainnya adalah MapReduce, Apache Spark, Pig, Hbase, Apache Hive, Kafka.
- Artificial Intelligent (AI), yang bertugas mendapatkan insight atau prediksi dari Big Data.