Paket data besar Facebook termasuk gudang, analitik lebih cepat

Facebook dapat menghargai data yang dimilikinya pada satu miliar penggunanya untuk pengembalian iklan, tetapi analisis yang dilakukan situs pada data itu diperkirakan akan terus menimbulkan banyak tantangan selama tahun mendatang, seorang insinyur mengatakan.

Masalahnya, yang mana Facebook telah dipaksa untuk bergulat dengan "lebih cepat dari industri yang lebih luas," termasuk mencari cara yang lebih efisien untuk memproses perilaku pengguna di situs, cara mengakses dan mengkonsolidasikan berbagai jenis data dengan lebih baik di berbagai pusat data Facebook, dan merancang sistem perangkat lunak open source baru untuk memproses data tersebut, Ra vi Murthy, yang mengelola infrastruktur analisis Facebook, mengatakan Selasa.

"Facebook adalah perusahaan data, dan hal yang paling jelas orang pikirkan di depan adalah penargetan iklan," katanya pada konferensi industri di San Francisco, selama berbicara tentang infrastruktur back-end Facebook, analitik data, dan proyek sumber terbuka.

[Bacaan lebih lanjut: Layanan streaming TV terbaik]

"Tapi itu lebih dalam dari ini," katanya.

Satu bidang utama dari pekerjaan di belakang layar berhubungan dengan infrastruktur analisis Facebook, yang dirancang untuk mempercepat pengembangan produk dan meningkatkan pengalaman pengguna melalui analisis mendalam dari semua data yang tersedia, apakah itu terdiri dari tindakan yang dilakukan pengguna di situs seperti memposting pembaruan status atau yang aplikasi yang mereka gunakan di Facebook pada perangkat yang berbeda.

Facebook saat ini menggunakan beberapa sistem perangkat lunak sumber terbuka yang berbeda yang dikenal sebagai Hadoop, Corona dan Prism untuk memproses dan menganalisis datanya, yang akan difokuskan perusahaan untuk membuat lebih cepat dan lebih efisien dalam enam hingga dua belas bulan ke depan, kata Murthy.

Banyak tantangan perusahaan terkait dengan apa yang disebut Facebook sebagai gudang data, yang menggabungkan data dari berbagai sumber ke dalam basis data tempat aktivitas pengguna dapat dianalisis secara keseluruhan, seperti dengan memberikan laporan harian tentang jumlah foto yang telah ditandai di negara tertentu, atau melihat berapa banyak pengguna di area tertentu yang terlibat dengan halaman yang direkomendasikan kepada mereka.

Analisis dirancang untuk mengoptimalkan pengalaman pengguna dan mencari tahu apa yang disukai dan disukai pengguna, tetapi juga menjadi lebih berat karena Facebook dapat mengakses lebih banyak data tentang penggunanya, kata Murthy. Saat ini, gudang Facebook mengambil 500 terabyte data baru setiap hari, atau 500.000 gigabyte. Gudang telah tumbuh hampir 4000 kali dalam ukuran selama empat tahun terakhir, "jauh di depan pertumbuhan pengguna Facebook," kata Murthy.

Untuk mengatasi masalah ini, Facebook telah mengembangkan sistem perangkat lunak Prism, yang dirancang untuk melakukan fungsi analisis utama di seluruh pusat data perusahaan di seluruh dunia, dan membagi analisis menjadi "potongan," kata Murthy. Dengan begitu, melakukan analisis pada, katakanlah, beberapa metrik yang terkait dengan feed berita pengguna tidak akan menyumbat gudang secara lebih umum.

"Kami semakin memikirkan tentang cara menangkap data ini," katanya.

Perusahaan ini juga bekerja pada sebuah sistem yang mengambil pendekatan yang sama sekali berbeda untuk permintaan gudang untuk memberikan waktu respon dalam hitungan detik, kata Murthy.

Daerah lain Facebook terus mencari pada peningkatan adalah "infrastruktur transaksional, ”Yang menangani pemrosesan data, suka, komentar, dan pembaruan status yang lebih mendasar, sehari-hari, untuk menjaga agar jejaring sosial berjalan lancar. Beberapa pertanyaan yang diajukan oleh para insinyur dan analis perusahaan termasuk mencari tahu bagaimana memperkirakan pertumbuhan aktual dalam jenis data ini, dan seberapa banyak komputasi yang seharusnya diberikan Facebook untuknya, kata Murthy.

"Bisakah kita memprediksi apa yang akan terjadi enam bulan dari sekarang?" Katanya.

Sementara itu, Facebook juga terlibat dalam upaya jangka panjang untuk membuat server fisiknya lebih efisien. Perusahaan memulai Proyek Open Compute pada tahun 2011, dengan tujuan merancang server modular yang memberikan pelanggan kontrol yang lebih besar atas jaringan, memori, pasokan daya dan komponen lain yang masuk ke server mereka. Itu diperluas untuk menggabungkan prosesor ARM pada bulan Januari.