Cara Kerja Big Data: Bagaimana dan Dimana Digunakan

Cara Kerja Big Data – Baru-baru ini, perusahaan mulai memahami nilai Big Data dan mulai berinvestasi dalam spesialis Ilmu Data. Pada artikel ini kami akan memperkenalkan topik Big Data kepada Anda, memberi tahu Anda di mana dan bagaimana big data digunakan sekarang.

Apa itu Big Data? 

Big Data adalah istilah yang digunakan untuk menggambarkan kumpulan big data yang tumbuh dengan cepat dari waktu ke waktu, serta alat untuk bekerja dengannya. Ini adalah cara untuk mengumpulkan dan memproses banyak informasi untuk menyelesaikan masalah aplikasi yang kompleks.

Bagaimana data dihasilkan?

Big Data berasal dari berbagai sumber. Contoh nyata adalah jejaring sosial dan iklan. Jika Anda bukan perusahaan raksasa yang menyediakan layanan kepada jutaan orang, jangan putus asa – Anda masih dapat bekerja dengan big data.

Mereka dapat dikumpulkan, misalnya, menggunakan pengikisan web. Banyak layanan juga menyediakan API untuk mengakses data mereka. Kemungkinan besar, Anda tidak akan diberikan 100% dari data yang tersedia dan masuk, tetapi ini juga merupakan pilihan yang baik.

Contohnya adalah Streaming API VKontakte, yang memberikan akses ke konten baru dengan kata kunci yang ditentukan. Secara default, hanya 1% dari semua data yang tersedia, tetapi Anda dapat mencoba meminta semua 100%.

Bagaimana data disimpan dan diproses?

Volume data tumbuh dengan cepat, dan untuk memprosesnya, repositori dan program yang didistribusikan digunakan. Saat jumlah data bertambah, Anda cukup menambahkan node baru, daripada melakukan penulisan ulang. Artikel di bawah ini akan memberikan informasi tentang alat yang digunakan untuk bekerja dengan Big Data, sebagian dari artikel tentang Cara Kerja Big Data.

Untuk penyimpanan data yang aman adalah penting. Karena pengembangan big data yang aktif dan kurangnya metodologi yang ditetapkan untuk perlindungan mereka, masing-masing perusahaan harus memutuskan sendiri bagaimana cara mendekati masalah ini.

Langkah yang masuk akal adalah dengan menghapus data rahasia dari cluster, seperti kata sandi dan data kartu bank, ini akan menyederhanakan konfigurasi akses ke sana. Kemudian Anda dapat menerapkan berbagai langkah-langkah keamanan administratif, fisik dan teknis, persyaratan yang dapat ditemukan di berbagai koleksi standar seperti ISO 27001.

Misalnya, Anda dapat membatasi akses karyawan ke data pada tingkat yang cukup untuk melaksanakan tugas pekerjaan mereka. Tidak akan berlebihan untuk menyimpan log interaksi karyawan dengan data dan mengecualikan kemungkinan menyalin data dari repositori. Anda juga dapat menggunakan anonimisasi data.

Penargetan lokasi

Penargetan lokasi Big Data – Berbagai layanan menyediakan layanan mereka kepada pengguna dengan imbalan data di lokasi mereka. Mengetahui di mana pengguna berada, Anda dapat menawarkan mereka konten yang lebih relevan. Misalnya, Anda memiliki aplikasi bank yang diinstal. Bank mengetahui institusi mana yang paling sering Anda kunjungi dan dapat menawarkan untuk membeli kartu cashback di masing-masing institusi.

Contoh penggunaan penargetan geografis untuk memecahkan masalah sosial adalah platform MegaFon. Pencarian, yang dengannya lebih mudah untuk mencari orang hilang. Pencarian saksi yang lebih mungkin untuk melihat orang yang hilang dimulai atas permintaan lembaga penegak hukum dan berlangsung pada radius tertentu, dengan mempertimbangkan karakteristik sosial. Setelah itu, pesan SMS dengan informasi terperinci dikirim ke pelanggan. Newsletter dapat dikirim ke pelanggan dari semua operator, dan hasilnya dapat dikirim ke tim pencarian dan penyelamatan. Ini mengurangi waktu pengumpulan data dari beberapa hari menjadi beberapa menit.

Cuaca dan iklim

Data dari satelit yang diluncurkan di seluruh dunia dapat digunakan, antara lain, untuk prakiraan cuaca, mempelajari pemanasan global, dan sifat bencana alam. Contoh dalam bidang ini adalah IBM Deep Thunder, sebuah proyek penelitian IBM yang tujuannya adalah untuk meningkatkan prakiraan jangka pendek dengan Big Data dan komputasi kinerja tinggi.

Obat-obatan

Berdasarkan riwayat medis pasien, dimungkinkan untuk lebih akurat mendiagnosis dan meresepkan pengobatan yang diperlukan atau profilaksis sesegera mungkin, termasuk untuk penyakit genetik yang serius. Misalnya, berdasarkan data EEG, neuroteknologi modern memungkinkan untuk mendiagnosis penyakit Parkinson. Big Data juga dapat digunakan untuk memprediksi dan mencegah epidemi.

Asisten virtual

Anda dapat menggunakan data yang dikumpulkan dari semua pengguna untuk memberikan jawaban yang lebih logis dan diharapkan. Dan juga, dengan membandingkan pola perilaku dan menggunakan informasi dari layanan lain, untuk menyediakan komunikasi yang lebih personal dengan setiap pengguna.

Mari kita mengutip proyek “Elena” – asisten virtual untuk MegaFon, menggunakan sintesis bicara Yandex SpeechKit dan teknologi pengenalan suara. Ini adalah sistem AI yang menyarankan pengguna tentang masalah yang terkait dengan informasi akun, layanan, dan tarif perusahaan. Elena terintegrasi ke dalam semua sistem MegaFon dan menggunakan data klien yang dipersonalisasi saat memproses permintaan. Dia tahu tarif pelanggan, daftar layanan yang terhubung, lokasi (dalam roaming atau di wilayah rumah) dan parameter lainnya, oleh karena itu, dia dapat, misalnya, menyarankan untuk mengambil “Pembayaran yang dijanjikan” jika saldo mendekati ambang batas. Menurut survei pelanggan perusahaan, sekitar 72% pengguna menemukan jawaban atas pertanyaan mereka menggunakan kecerdasan buatan.

Sistem perbankan

Sistem perbankan juga menghasilkan banyak data. Mereka dapat digunakan, misalnya, untuk mengidentifikasi pencurian dan penyalahgunaan kartu bank dengan pemblokiran selanjutnya sampai situasinya diklarifikasi. Atau, katakanlah, seseorang sedang mengajukan pinjaman. Sistem memeriksa riwayat kreditnya dan data lainnya, membandingkannya dengan klien lain dan memberi tahu Anda dengan probabilitas berapa seseorang akan mengembalikan pinjaman ini dan apakah layak memberikannya sama sekali.

Transportasi

Semua data tentang pengemudi, kendaraan mereka, lokasi dianalisis dan digunakan untuk memprediksi permintaan, pasokan, lokasi pengemudi dan tarif untuk setiap perjalanan.10

Industri hiburan

Bergantung pada perilaku online Anda dan konten yang Anda lihat di masa lalu, Anda akan ditunjukkan rekomendasi yang sesuai, yang secara aktif digunakan oleh layanan seperti Netflix untuk meningkatkan keterlibatan pengguna. Tentu saja, penggunaan Big Data untuk rekomendasi yang dipersonalisasi tidak terbatas pada sektor hiburan dan juga digunakan di toko online, mesin pencari, dan lainnya.11

Teknologi apa yang terkait dengan Big Data?

Big Data adalah istilah yang digunakan untuk menggambarkan kumpulan data besar yang tumbuh dengan cepat dari waktu ke waktu, Bagaimana cara kerja big data?

Teknologi yang digunakan untuk bekerja dengan big data dapat dibagi menjadi tiga kelompok besar: untuk analisis data (pengujian A / B, pengujian hipotesis, pembelajaran mesin), untuk pengumpulan dan penyimpanan data (“cloud”, database) dan untuk presentasi hasil (tabel, grafik, dan sebagainya). Berikut ini beberapa contohnya.

Analisis data

  • Apache Spark – Kerangka kerja open source untuk mengimplementasikan pemrosesan data terdistribusi, bagian dari ekosistem Hadoop.
  • Elastics Search –  Open search engine yang populer, sering digunakan ketika bekerja dengan big data.
  • Scikit-learn – Perpustakaan pembelajaran mesin gratis untuk bahasa pemrograman Python.

Pengumpulan dan penyimpanan

  • Apache Hadoop – Kerangka kerja yang tidak dapat diabaikan ketika berbicara tentang Big Data. Ini memungkinkan Anda untuk memastikan pengoperasian program terdistribusi pada kelompok ratusan dan ribuan node.
  • Apache Ranger – Kerangka kerja keamanan data Hadoop.
  • NoSQL Database – HBase, Apache Cassandra dan database lain yang dirancang untuk membuat penyimpanan array big data yang sangat skalabel dan andal.
  • Data Lake – Penyimpanan tidak terstruktur untuk sejumlah besar data mentah, tidak mengalami perubahan apa pun sebelum disimpan.
  • In-Memory Database – Misalnya, dalam Redis, data disimpan dalam RAM.

Visualisasi

  • Google Chart Toolkit multifungsi untuk visualisasi data.
  • Tablo Sistem analisis interaktif yang memungkinkan Anda dengan cepat menganalisis sejumlah besar informasi.

Siapa yang bekerja dengan Big Data?

Ada dua jenis karyawan yang bekerja dengan big data:

  • Engineer (Data Engineer) – membangun sistem untuk pengumpulan dan pemrosesan data, dan juga mengubah analitik yang dikumpulkan menjadi layanan atau produk jadi.
  • Analyst (Data Scientist) – menganalisis dan mencari pola dalam data.

Cara kerja big data memiliki banyak cara, tergantung dimana big data digunakan sehingga dapat mengetahui bagaimana cara Big Data bekerja, termasuk dalam pengambilan keputusan.

Cari tau tentang bagaimana sejarah kemunculan dan perkembangan big data dari abad ke 20 hingga abad ke 21 >> Sejarah Big Data: Sejarah Singkat Dari Big Data

Comments are closed, but trackbacks and pingbacks are open.