Hotmail erhält ein neues Speichersystem - damit ist es noch schneller!

Hotmail erhält jeden Tag Milliarden von E-Mail-Nachrichten, die sicher gespeichert werden müssen und müssen effizient verfügbar gemacht werden. Das Cloud-basierte Speichersystem von Hotmail unterstützt über eine Milliarde Postfächer und Hunderte Petabyte an Daten (ein Petabyte entspricht einer Million Gigabyte). Hunderttausende simultaner Transaktionen in dieser Größenordnung effizient abzuwickeln, ist eine technische Herausforderung. Das Speichersystem basiert auf Microsoft-Technologie, einschließlich Windows Server und Microsoft SQL Server.

Microsoft hat an einem wichtigen Upgrade dieses Speichersystems gearbeitet. Seit Anfang dieses Jahres läuft ein neues System, das auf den bei Hotmail entwickelten Technologien basiert, auf einem Pilot-Cluster mit persönlichen Accounts von Microsoft-Mitarbeitern. Und nach gründlichen Tests wurde das neue System zertifiziert, das eine höhere Zuverlässigkeit zu einem deutlich niedrigeren Preis bietet.

Lassen Sie uns einige dieser neuen von Hotmail verwendeten Technologien sehen.

Implementierung von JBOD ersetzt RAID:

"RAID (Redundant Array of Inexpensive Disks) ist eine Technologie, mit der mehrere Festplatten an eine einzige Controller - Karte angeschlossen werden können, wodurch sie wie eine einzige größere und wesentlich zuverlässigere Festplatte (manchmal als "Logical Unit" bezeichnet) für die Software, auf der die Speichersystem. "

Hotmail verwendet RAID seit langem. E-Mails wurden in mehreren RAID-Gruppen gespeichert, sodass selbst bei Ausfall eines vollständigen RAID-Nachrichten Nachrichten wiederhergestellt werden können. Hotmail untersuchte die Zuverlässigkeitsperspektive von Laufwerken mit einer Kapazität von mehr als 1 Terabyte und stellte fest, dass es aus Sicht der Zuverlässigkeit nicht das Geld wert war. Da RAID-Systeme problemlos mit Problemen umgehen, die ein einzelnes System betreffen, jedoch nicht, wenn die gesamte Maschine oder der RAID-Controller Probleme aufweist. Hotmail stellte fest, dass Kopien auf einem anderen Computer, der den Controller nicht gemeinsam nutzt, nicht nur zuverlässiger, sondern auch kostengünstiger als RAID-Konfiguration ist.

Sie entwickelten JBOD (Just a Bunch of Disks), auf denen Kopien von Daten auf unabhängigen Festplatten gespeichert sind Laufwerke, Controller und Maschinen. Dadurch wird der Festplattencontroller fast vollständig aus dem Weg geräumt und der Software zur Steuerung übergeben. Diese JBOD-Systemsoftware wurde von Hotmail entwickelt.

Diese JBOD-Software überwacht ständig auf Fehler und löst beim Fund eine Warnung aus, wodurch ein Reparaturprozess ausgelöst wird. Dieser Reparaturprozess kann einen Computer neu starten oder einen Prozess neu starten, um Datenkorruption zu beheben oder bei Bedarf sogar menschliche Eingriffe vorzunehmen. Der Hauptvorteil der Verwendung von Software besteht darin, dass sie die guten Kopien von E-Mails beibehalten kann, die eine Reparaturaktion priorisieren, wenn sie weniger Kopien findet. Mit dieser Software wurde die Replikation selbst vereinfacht.

"Das Speichersystem besteht aus einer Reihe von Rechnern, von denen jeder seine Kopie einer E-Mail-Nachricht und ein Journal hat, das Nachrichten erfasst, die nach dem Eingangsdatum geordnet sind. Die Maschinen sprechen von Zeit zu Zeit miteinander, vergleichen ihre Journale und kopieren alle Nachrichten, die sie erkannt haben, nicht auf alle Maschinen. "

Implementierung von Solid State Drives (SSDs) anstelle von Festplatten.

Wir wissen, dass SSDs viel schneller sind als Festplatten. Festplatten, obwohl größer und billiger, sind langsam im Umgang mit der Rate der Anfragen.

"Eine normale Festplatte kann ein wenig mehr als hundert Lese- / Schreibvorgänge pro Sekunde durchführen, während einige der schnellsten SSDs tun können einhunderttausend Operationen pro Sekunde. "

Obwohl diese Geschwindigkeit einen Preis hat, da sie im Vergleich zu Festplatten viel teurer / Gigabyte sind.

SSDs handhaben die sich ständig ändernde Last effizient. Dies kann dadurch erklärt werden, dass Hotmail nicht nur die E-Mail-Nachrichten speichert, sondern auch verschiedene sich ständig ändernde Metadaten wie die Liste der Nachrichten im Posteingang, den Lese- / Lese-Status von Nachrichten, Konversations-Threading etc. speichert. Diese Metadaten belegen jedoch nur einen kleinen Teil des Speicherplatzes belastet die Festplatten aufgrund der sich ständig ändernden Natur. Die Verwendung von SSDs zum Speichern von Metadaten und Festplatten für Nachrichten ist daher eine bessere und effizientere Kombination.

Abgesehen von diesen Verbesserungen wird Hotmail in Zukunft noch viel mehr veröffentlichen. Der Rollout des neuen Storage-Systems hat bereits begonnen und die neuen Cluster werden auf JBOD basieren. Bereits 30 Millionen Nutzer sind auf JBOD, weitere 100 Millionen werden sich im Laufe der Zeit bewegen.

Wenn Sie es bemerkt haben, ist Hotmail sehr schnell geworden. Wenn Sie es nicht haben - versuchen Sie es jetzt.