Yahoo Membantu IIT Bombay Mengatur Lab Cluster Hadoop

Yahoo telah membantu Institut Teknologi India Bombay untuk mendirikan laboratorium cluster Hadoop di Mumbai dengan menyumbang sekelompok server yang menjalankan perangkat lunak Hadoop sumber terbuka.

Apache Hadoop adalah proyek komputasi terdistribusi sumber terbuka dari Apache Software Foundation yang didukung Yahoo.

Yahoo menjalankan sejumlah besar operasi kritisnya menggunakan Hadoop, dan tidak dapat melakukan semua penelitian yang diperlukan di sekitar Hadoop dalam perusahaan, kata Prabhakar Raghavan, wakil presiden senior dan kepala Yahoo Labs, di wawancara telepon pada hari Kamis.

Yahoo mengumumkan pada bulan Juni tahun lalu distribusi sendiri dari Hadoop, mengutip minat dari komunitas Apache Hadoop yang menerbitkan versi Hadoop yang diuji dan menyebarkan pada kelompok besar sendiri.

lab di M umbai akan membantu para peneliti di area studi institut seperti teknik pencarian dan pemberian peringkat, ekstraksi informasi dan pemrosesan bahasa alami.

Para peneliti akademik yang ingin meneliti isu-isu yang berhubungan dengan Web biasanya tidak dapat memperoleh akses ke sumber daya komputasi dan terabita dari data yang diperlukan untuk penelitian "masalah skala Web", kata Raghavan.

Dimulai dengan menyediakan peneliti Hadoop di Carnegie Mellon University dengan superkomputer 4.000 prosesor pada 2007, Yahoo telah membantu universitas lain di AS untuk menyiapkan Hadoop. klaster, katanya.

Raghavan tidak memberikan rincian lebih lanjut tentang klaster yang dipasang di IIT, hanya mengatakan bahwa server dengan ratusan CPU dan kemampuan untuk menangani terabyte data telah dikerahkan di sana.

Selain IIT Bombay, Yahoo membantu mendirikan kelompok serupa di lembaga akademis di Jerman dan Singapura, kata Raghavan. Ini adalah tiga lembaga akademis pertama di luar AS tempat Yahoo membantu membuat klaster semacam itu, tambahnya.

Yahoo berencana untuk nantinya menjalin beberapa klaster di seluruh dunia untuk menciptakan "utilitas yang lebih besar". Sebelum itu, kemampuan administrasi sistem Hadoop harus diperkuat untuk mencegah siswa di satu institusi menabrak pekerjaan di institusi lain, kata Raghavan.

Yahoo bekerja sama pada tahun 2008 dengan Computational Research Laboratories (CRL), laboratorium yang dijalankan oleh India Tata Group, untuk menawarkan fasilitas superkomputer gratis untuk institusi akademik di India yang sedang meneliti komputasi skala besar, terutama di sekitar Hadoop. Kolaborasi itu berlanjut, tetapi difokuskan pada superkomputer berkinerja tinggi, kata Raghavan.

Bermitra dengan lembaga akademis di Hadoop membantu Yahoo membangun sekelompok insinyur yang akrab dengan platform Hadoop, menurut Raghavan. Beberapa dari mereka bahkan telah dipekerjakan oleh Yahoo, tambahnya.

Yahoo juga mendapat manfaat dari ide-ide yang muncul dari lembaga akademis yang melakukan penelitian menggunakan Hadoop, kata Raghavan. Namun dia tidak memberikan contoh-contoh spesifik dari gagasan yang diambil dari kolaborasi ini dengan institusi akademik.