Android

Yahoo sucht nach Hadoop Boost mit Veröffentlichung der internen Version

Yahoo Suche und Startseite aus Chrome entfernen

Yahoo Suche und Startseite aus Chrome entfernen
Anonim

Um die Einführung der Hadoop-Technologie für die Verarbeitung massiver Datensätze voranzutreiben, wird Yahoo eine Version der Software veröffentlichen, die für viele seiner wichtigsten Websites und Dienste optimiert wurde.

Die Ankündigung erfolgte am Mittwoch auf der zweiten jährlichen Hadoop-Konferenz Summit, organisiert von Yahoo und gesponsert von mehreren großen Anbietern, die diese Technologie unterstützen, einschließlich IBM, Sun und Amazon.com.

Yahoo Suchmaschinen, Ad-Systeme und Webmail-Service verwenden Hadoop, eine Open-Source-Implementierung des MapReduce-Programmiermodells zur Verarbeitung großer Datenmengen in Prozessor-Clustern.

[Weiterführende Literatur: Die besten TV-Streaming-Dienste]

Bei Yahoo läuft Hadoop auf mehr als 25.000 Servern, um Daten auf Dutzenden von Milliarden Webseiten, Dutzenden von Haustieren, zu verarbeiten Speicherkapazität und Milliarden von Datensätzen pro Tag.

Durch die Veröffentlichung des Quellcodes seiner Hadoop-Distribution hofft Yahoo, die Entwicklung dieses Projekts der Apache Software Foundation anzukurbeln.

Yahoo, der Hadoop-Gründer Doug Cutting einsetzt, steuert seinen Beitrag bei Hadoop-Erweiterungen für das Apache-Projekt, aber jetzt wird seine vollständige Hadoop-Implementierung veröffentlicht, die die größte der Welt ist und umfassend getestet und für den Einsatz in Live-Produktionssystemen perfektioniert wurde. Der Yahoo-Code kommt ohne Einschränkungen in Bezug auf seine kommerzielle Nutzung.

"Es wurde viel Interesse geäußert, dass, wenn wir dies zur Verfügung stellen, es für andere Nutzer nützlich wäre", sagte Shelton Shugar, Senior Vice President für Cloud Computing bei Yahoo.

Yahoo konsolidiert zunehmend Verarbeitungsplattformen auf Hadoop-Clustern, weil sie besser skalieren und die umfangreiche Datenverarbeitung für die Standorte und Dienste des Unternehmens bereitstellen können.

"Wir sind sehr glücklich mit Hadoop "Es ist eine fabelhafte Plattform", sagte Shugar.

Amazon.com hat kürzlich einen gehosteten Dienst eingeführt, der Entwicklern die Verwendung von Hadoop namens Amazon Elastic MapReduce erleichtern soll, während Unternehmen wie Cloudera kommerzielle Hadoop-Distributionen für Unternehmensbereitstellungen vermarkten.