Facebook bereitet "kalten Speicher" vor, um mit riesigen Datenmengen umzugehen

Facebook überdenkt die Art, wie es Daten speichert, um mit den 7 Petabyte neuer Fotos fertig zu werden, die die Nutzer des sozialen Netzwerks jeden Monat hochladen. Da die Anzahl der Fotos wächst, braucht Facebook billigere, weniger stromhungrige Wege, um sie alle zu speichern, so der Vizepräsident des Unternehmens für Infrastrukturtechnik.

Nutzer laden etwa 300 Millionen Fotos pro Tag, mehr zu besonderen Anlässen, Facebooks Jay Parikh sagte am Mittwoch die Konferenz Structure Europe in Amsterdam. "Halloween ist einer unserer größten Foto-Upload-Tage des Jahres. Wir werden nur an einem einzigen Tag irgendwo zwischen 1 und 2 Milliarden Fotos hochladen", sagte er.

Fotos wie die von Halloween verlieren bald ihr Interesse, ohne dass man sie nach ein paar Tagen oder Wochen ansieht, aber "Unser Vertrag mit unseren Nutzern ist, dass wir die Daten nicht löschen können, wenn sie nicht abgerufen werden, wir müssen sie behalten", sagte er. Das führte zu der Idee, die Fotos in eine Art "Kühlhaus" zu stellen, sagte Parikh. [

] [Weiterführende Literatur: Die besten TV-Streaming-Dienste]

Dafür plant Facebook ein neues Rechenzentrum zu bauen verschiedene Arten von Speicher, Serverhardware und Netzwerkausrüstung, die weniger Strom und Kosten verbrauchen als bestehende Rechenzentren - alles ohne die Antwortzeiten der Server zu ändern, sagte er.

Aber wie effizient kann Facebook seinen Kühlspeicher einrichten? Wenn Kosten und Stromverbrauch in Rechenzentren gesenkt werden, geschieht dies in der Regel auf Kosten der Zugriffsgeschwindigkeit.

Das Speichern von Daten auf Bändern senkt beispielsweise den Stromverbrauch, verlangsamt jedoch den Datenzugriff erheblich.

Amazon Web Services folgt ein mittlerer Pfad mit seinem Glacier Cloud Storage Service, den er als Alternative zum Tape auflegt. Der Dienst ist optimiert für Daten, auf die selten zugegriffen wird und für die Abrufzeiten von mehreren Stunden akzeptabel sind.

Laut Parikh ist das viel zu langsam für Facebook. "Ich kann kein Foto haben, auf das du vor fünf oder zehn Jahren zugreifen kannst, und mir ein Banner zeigen, auf dem steht:" Hey, warum versuchst du es nicht in 24 Stunden? " Es muss immer noch relativ realtime sein ", sagte er.

Geringerer Strombedarf

Bild: Mit freundlicher Genehmigung von Data Center KnowledgeFacebook Datencenter in Oregon

Die meisten Datenzentren, die heute verwendet werden, sind für viele optimiert Leistung, um Aufgaben zu bewältigen, die große Rechenleistung benötigen. Die "kalte Speicher" -Technologie, an der Facebook denkt, ist das andere Extrem, sagte Parikh. "Sie brauchen viel Platz, aber Sie brauchen nicht so viel Strom", sagte er und fügte hinzu, dass alles über das Rechenzentrum neu durchdacht werden muss, um das Problem auf der Facebook-Skala zu bewältigen.

Auf hohem Niveau, Facebook arbeitet an Software, die herausfinden wird, wie und wo man ein Stück Inhalt in der Infrastruktur speichert, wenn es älter wird, sagte Parikh. "Das bedeutet, dass sich die Kopien der Daten im Laufe der Zeit verschieben und die verschiedenen Infrastrukturkomponenten nutzen werden, die wir für das Alter der Inhalte optimiert haben." Einige der Erfindungen in der Softwareschicht würden Facebook erlauben, noch schnell zu reagieren, aber Daten kosteneffizienter zu speichern, sagte er.

Kühlspeicher wird in den nächsten ein oder zwei Jahren Teil der Infrastruktur von Facebook sein, sagte er. Facebook beabsichtigt, die Teile, die es für relevant hält, über das Open Compute Project, eine von Facebook gestartete Initiative zur Anwendung des Open-Source-Software-Collaboration-Modells auf die Welt der Rechenzentrums-Hardware, offenzulegen und zu teilen.