Android

Amazon automatisiert die Verwendung von Hadoop für Entwickler

AWS Tutorial For Beginners | AWS Full Course - Learn AWS In 10 Hours | AWS Training | Edureka

AWS Tutorial For Beginners | AWS Full Course - Learn AWS In 10 Hours | AWS Training | Edureka
Anonim

Amazon.com hat einen gehosteten Dienst gestartet, der Entwicklern die Verwendung der Hadoop-Implementierung des MapReduce-Programmiermodells für die Verarbeitung großer Datenmengen in Prozessor-Clustern erleichtern soll.

Amazon Elastic MapReduce heißt der Cloud-Computing-Service für Entwickler Anwendungen, die große Datenmengen verarbeiten müssen, für die Hadoop ideal geeignet ist.

Mit Amazon Elastic MapReduce müssen viele Aufgaben, die Entwickler manuell in Bezug auf Hadoop erledigen müssen, automatisiert werden: das Amazon Web Services (AWS) Cloud Computing sagte am Donnerstag in einem offiziellen Blog.

[Weiterführende Literatur: Die besten TV-Streaming-Dienste]

"Mit Elastic MapReduce können Sie Hadoop-Jobs erstellen, ausführen, überwachen und steuern mit einfachen Mausklicks. Du musst nicht rausgehen und viel Hardware kaufen. Sie müssen es nicht rackern, vernetzen oder verwalten. Sie müssen sich keine Sorgen darüber machen, dass Ihnen die Ressourcen ausgehen oder sie mit anderen Mitgliedern Ihrer Organisation geteilt werden. Sie müssen es nicht überwachen, abstimmen oder Zeit für die Aktualisierung des Systems oder der Anwendungssoftware aufwenden ", heißt es im Blog-Posting.

AWS hat sich entschieden, diesen Service zu erstellen, nachdem Kunden Hadoop-Jobs auf Amazon ausgeführt haben Der EC2-Dienst (Elastic Compute Cloud) stellt gehostete Rechnerkapazitäten dar. Da Hadoop immer beliebter wird, möchte Amazon anderen Entwicklern die Nutzung dieser Open Source-Implementierung von MapReduce erleichtern.

Elastic MapReduce funktioniert in Verbindung mit EC2 und der von Amazon Simple Storage Service (S3) gehostete Speicher-Cloud-Service. "Elastic MapReduce spinnt automatisch eine Hadoop-Implementierung des MapReduce-Frameworks auf Amazon EC2-Instanzen und unterteilt die Daten in einem Auftragsfluss in kleinere Abschnitte, so dass sie es sein können verarbeitet - die "Karten" -Funktion - parallel und schließlich die verarbeiteten Daten in die endgültige Lösung zu kombinieren - die "reduzieren" -Funktion. Amazon S3 dient als Quelle für die zu analysierenden Daten und als Ausgabeziel für die Endergebnisse "gemäß einer separaten Beschreibung des Dienstes.

Wie bei anderen AWS Cloud-Diensten berechnet Amazon für Elastic MapReduce auf der Grundlage seiner Nutzung, ohne eine Mindestgebühr.