Facebooks Big Datapläne beinhalten Lagerhäuser, schnellere Analysen

Facebook mag die Daten, die es für seine über eine Milliarde Nutzer hat, für seine Werbeaussagen schätzen Die Analyse, die die Website mit diesen Daten durchführt, werde voraussichtlich auch im kommenden Jahr zahlreiche Herausforderungen mit sich bringen, sagte ein Ingenieur.

Die Probleme, mit denen sich Facebook "viel früher als die breitere Industrie" auseinandersetzen musste, sind unter anderem Aus effizienteren Methoden zur Verarbeitung des Nutzerverhaltens auf der Website, zum besseren Zugriff und zur Konsolidierung verschiedener Datentypen in den zahlreichen Rechenzentren von Facebook sowie zur Entwicklung neuer Open-Source-Softwaresysteme zur Verarbeitung dieser Daten, Ra vi Murthy, der die Analyseinfrastruktur von Facebook managt, sagte am Dienstag.

"Facebook ist eine Datenfirma, und das offensichtlichste, was die Leute an diese Front denken, ist die Anzeigenausrichtung", sagte er auf einer Branchenkonferenz in San Francisco Sprechen Sie über die Back-End-Infrastruktur von Facebook, Datenanalyse und Open Source-Projekte.

[Lesen Sie weiter: Die besten TV-Streaming-Dienste]

"Aber es geht tiefer", sagte er.

Ein großer Bereich von Die Arbeit hinter den Kulissen bezieht sich auf die Analyse-Infrastruktur von Facebook, die die Produktentwicklung beschleunigen und die Benutzerfreundlichkeit durch eine gründliche Analyse aller verfügbaren Daten verbessern soll, unabhängig davon, ob die Benutzer auf der Website Aktionen wie Statusupdates durchführen oder welche Anwendungen, die sie in Facebook auf verschiedenen Geräten verwenden.

Facebook verwendet derzeit mehrere verschiedene Open-Source-Softwaresysteme wie Hadoop, Corona und Prism, um seine Daten zu verarbeiten und zu analysieren, auf die sich das Unternehmen konzentrieren wird In den nächsten sechs bis zwölf Monaten sei Murthy schneller und effizienter.

Viele der Herausforderungen des Unternehmens hängen mit dem, was Facebook als Data Warehouse bezeichnet, zusammen, das Daten aus mehreren Quellen zu einer Datenbank zusammenführt, in der Benutzeraktivitäten analysiert werden können B. durch einen täglichen Bericht über die Anzahl der Fotos, die in einem bestimmten Land getaggt wurden, oder durch die Anzahl der Nutzer in einem bestimmten Gebiet, die sich mit Seiten beschäftigt haben, die ihnen empfohlen wurden.

Die Analyse Englisch: www.saferinternet.org/ww/en/pub/ins…1007/dk1.htm Es wurde entwickelt, um die Benutzererfahrungen zu optimieren und herauszufinden, was Benutzer mögen und nicht mögen, aber es wird auch immer strikter, da Facebook mehr und mehr Daten über seine Benutzer abrufen kann, sagte Murthy. Derzeit nimmt das Facebook-Lager täglich 500 Terabyte an neuen Daten oder 500.000 Gigabyte an. Das Lager ist in den letzten vier Jahren fast 4000-mal größer geworden, "weit voraus von Facebooks Nutzerwachstum", sagte Murthy.

Um diese Probleme zu lösen, hat Facebook das Prism-Softwaresystem entwickelt, das entwickelt wurde Key-Analyse-Funktionen in den Rechenzentren des Unternehmens weltweit, und teilen Sie die Analysen in "Brocken", sagte Murthy. Auf diese Weise wird eine Analyse etwa von Messwerten in Bezug auf Nachrichtenfeeds der Benutzer das Lagerhaus nicht allgemein verstopfen.

"Wir überlegen uns zunehmend, wie wir diese Daten erfassen sollen", sagte er.

"Das Unternehmen arbeitet auch an einem System, das eine völlig andere Herangehensweise an das Warehouse anwendet, um innerhalb von Sekunden eine Antwortzeit zu erhalten", sagt Murthy.

Ein weiterer Bereich, den Facebook ständig verbessert, ist seine "Transaktionsinfrastruktur, "Die die grundlegende tägliche Datenverarbeitung von etwa Likes, Kommentaren und Statusaktualisierungen übernimmt, um den reibungslosen Betrieb des sozialen Netzwerks zu gewährleisten. Zu den Fragen, die die Ingenieure und Analysten des Unternehmens stellen, gehört es, herauszufinden, wie das tatsächliche Wachstum dieser Art von Daten prognostiziert werden kann und wie viel Computing Facebook wirklich dafür bereitstellen sollte, sagte Murthy.

"Können wir vorhersagen, wie es in sechs Monaten sein wird?", Sagte er.

Inzwischen ist Facebook auch an langfristigen Bemühungen beteiligt, seine physischen Server effizienter zu machen. Das Unternehmen startete 2011 sein Open Compute Project mit dem Ziel, modularisierte Server zu entwickeln, die den Kunden mehr Kontrolle über Netzwerk, Speicher, Netzteile und andere Komponenten geben, die in ihre Server integriert sind. Es wurde im Januar um ARM-Prozessoren erweitert.