Yahoo hilft IIT Bombay Einrichten von Hadoop Cluster Lab

Yahoo hat dem indischen Technologieinstitut Bombay geholfen, ein Hadoop-Clusterlabor in Mumbai einzurichten, indem es einen Servercluster spendet, auf dem die Open-Source-Hadoop-Software läuft.

Apache Hadoop ist ein Open-Source-Projekt des Distributors Yahoo unterstützt eine große Anzahl seiner kritischen Operationen mit Hadoop, und es kann nicht die gesamte Forschung rund um Hadoop innerhalb des Unternehmens durchführen, sagte Prabhakar Raghavan, Senior Vice President und Leiter von Yahoo Labs, in ein Telefoninterview am Donnerstag.

Yahoo verkündete im Juni letzten Jahres seine eigene Distribution von Hadoop, unter Hinweis auf das Interesse der Apache Hadoop Community, dass es die Version von Hadoop veröffentlicht, die es auf seinen eigenen großen Clustern testet und einsetzt.

Der Cluster Labor bei M Umbai wird den Forschern des Instituts Forschungsbereiche wie Such- und Ranking-Techniken, Informationsextraktion und Verarbeitung natürlicher Sprache helfen.

Akademische Forscher, die Web-bezogene Probleme erforschen wollten, konnten in der Regel nicht auf die Rechenressourcen und Terabytes zugreifen Daten, die für die Erforschung von "Web-Scale-Problemen" benötigt werden, sagte Raghavan.

Beginnend mit Hadoop Forscher an der Carnegie Mellon University mit einem 4000-Prozessor-Supercomputer im Jahr 2007, hat Yahoo anderen Universitäten in den USA geholfen, Hadoop einzurichten Cluster, sagte er.

Raghavan gab keine weiteren Details zu dem Cluster, der am IIT installiert war, sondern nur Server mit Hunderten von CPUs und der Fähigkeit, Terabytes an Daten zu verarbeiten, wurden dort eingesetzt.

Neben IIT Bombay, Yahoo Englisch: bio-pro.de/en/region/stern/magazin/…0/index.html Sie hilft, ähnliche Cluster in akademischen Einrichtungen in Deutschland und Singapur aufzubauen, so Raghavan. Dies sind die ersten drei akademischen Einrichtungen außerhalb der USA, wo Yahoo beim Aufbau solcher Cluster hilft, fügte er hinzu.

Yahoo plant, später einige der Cluster auf der ganzen Welt zu vernetzen, um ein "größeres Dienstprogramm" zu schaffen. Zuvor müssten die Systemadministrationsfunktionen von Hadoop gestärkt werden, um zu verhindern, dass ein Student in einer Institution die Arbeit an einer anderen Institution abstürzt, so Raghavan.

Yahoo hat 2008 mit dem von Indien betriebenen Labor für Computational Research Laboratories (CRL) zusammengearbeitet Tata Group, um akademischen Einrichtungen in Indien kostenlose Supercomputing-Einrichtungen zur Verfügung zu stellen, die in großem Umfang Computing erforschen, insbesondere in der Umgebung von Hadoop. Diese Zusammenarbeit geht weiter, konzentriert sich aber auf Hochleistungs-Supercomputer, sagte Raghavan.

Die Zusammenarbeit mit akademischen Einrichtungen auf Hadoop hilft Yahoo dabei, einen Pool von Ingenieuren aufzubauen, die mit der Hadoop-Plattform vertraut sind, so Raghavan. Einige von ihnen wurden sogar von Yahoo angeheuert, fügte er hinzu.

Yahoo hat auch von Ideen profitiert, die von akademischen Institutionen kommen, die mit Hadoop forschen, sagte Raghavan. Er gab jedoch keine konkreten Beispiele für Ideen, die aus dieser Zusammenarbeit mit akademischen Institutionen hervorgingen.