Hotmail saa uuden tallennusjärjestelmän - mikä tekee siitä vieläkin nopeamman!

Hotmail saa uuden tallennusjärjestelmän - mikä tekee siitä vieläkin nopeamman!
Hotmail saa uuden tallennusjärjestelmän - mikä tekee siitä vieläkin nopeamman!

Video: Hotmail saa uuden tallennusjärjestelmän - mikä tekee siitä vieläkin nopeamman!

Video: Hotmail saa uuden tallennusjärjestelmän - mikä tekee siitä vieläkin nopeamman!
Video: Afnan Zafar - YouTube 2024, Huhtikuu
Anonim

Hotmail vastaanottaa päivittäin miljardeja sähköpostiviestejä, jotka on tallennettava turvallisesti ja oltava helposti saatavilla tehokkaasti. Hotmailin pilvipohjainen tallennusjärjestelmä tukee yli miljardi postilaatikkoa ja satoja petabottia tietoja (yksi petabyte on miljoona gigatavua). Ja käsitellä satoja tuhansia samanaikaisia liiketoimia tehokkaasti tällä asteikolla on tekninen haaste. Tallennusjärjestelmä on rakennettu Microsoft-tekniikalla, mukaan lukien Windows Server ja Microsoft SQL Server.

Microsoft on työskennellyt suuressa päivityksessä tähän tallennusjärjestelmään. Tämän vuoden alusta alkaen Hotmailissa kehitettyyn tekniikkaan perustuva uusi järjestelmä on käynnistynyt pilottiklusterilla käyttäen Microsoftin työntekijöiden henkilökohtaisia tilejä. Tarkan testauksen jälkeen uusi järjestelmä on sertifioitu, mikä tarjoaa paremman luotettavuuden huomattavasti alhaisemmalla hinnalla.

Nähdään joitain näistä Hotmailin uusiin tekniikoihin.

RAID: n korvaaminen JBOD:

"RAID (redundant array edullisista levyistä) on tekniikka, jonka ansiosta useita kiintolevyjä voidaan liittää yhteen ohjauskorttiin, minkä ansiosta ne näyttävät yhdeltä suuremmalta ja paljon luotettavammalta kiintolevyltä (jota kutsutaan toisinaan" loogiseksi yksiköksi ") ohjelmisto, joka käyttää tallennusjärjestelmää."

Hotmail on käyttänyt RAIDia pitkään. Sähköpostiä pidettiin useissa RAID-ryhmiin, joten vaikka koko RAID-vika epäonnistuu, viestit voidaan palauttaa. Hotmail selvitti yli 1 teratavun kapasiteetin käyttövarmuuksien luotettavuusnäkökulmaa ja totesi, että se ei ollut rahan arvo luotettavuudesta. Koska RAID-järjestelmät käsittelevät helposti yksittäisiin järjestelmään vaikuttavia ongelmia, mutta ei silloin, kun koko kone tai RAID-ohjain joutuu ongelmiin. Hotmail havaitsi, että kopiointi toisella koneella, joka ei jakanut ohjainta, ei ollut vain luotettavampi, mutta kustannustehokkaampi myös halvempi kuin RAID-kokoonpano.
Hotmail on käyttänyt RAIDia pitkään. Sähköpostiä pidettiin useissa RAID-ryhmiin, joten vaikka koko RAID-vika epäonnistuu, viestit voidaan palauttaa. Hotmail selvitti yli 1 teratavun kapasiteetin käyttövarmuuksien luotettavuusnäkökulmaa ja totesi, että se ei ollut rahan arvo luotettavuudesta. Koska RAID-järjestelmät käsittelevät helposti yksittäisiin järjestelmään vaikuttavia ongelmia, mutta ei silloin, kun koko kone tai RAID-ohjain joutuu ongelmiin. Hotmail havaitsi, että kopiointi toisella koneella, joka ei jakanut ohjainta, ei ollut vain luotettavampi, mutta kustannustehokkaampi myös halvempi kuin RAID-kokoonpano.

Niinpä he kehittivät JBOD (Just a Bunch Of Disks), jossa kopiotiedoista asuvat itsenäisissä kiintolevyissä, ohjaimissa ja koneissa. Tällöin kiintolevyohjain saadaan lähes kokonaan pois ja ohjataan ohjelmistoon ohjaamaan sitä. Tämä JBOD-järjestelmäohjelmisto kehitti Hotmail.

Tämä JBOD-ohjelmisto valvoo jatkuvasti vikoja ja herättää hälytyksen, kun se havaitaan, mikä käynnistää korjausprosessin. Tämä korjausprosessi voi käynnistää koneen uudelleen tai käynnistää prosessin uudelleen, korjata tietojen korruptiota tai jopa tehdä ihmisen puuttumista tarvittaessa. Ohjelmiston käyttämisen tärkein etu on, että se pystyy ylläpitämään hyviä kopioita sähköpostista, jotka priorisoivat korjaustoimenpiteitä, jos se löytää vähemmän kopioita. Käyttämällä tätä ohjelmistoa, kopiointi itse yksinkertaistettiin
Tämä JBOD-ohjelmisto valvoo jatkuvasti vikoja ja herättää hälytyksen, kun se havaitaan, mikä käynnistää korjausprosessin. Tämä korjausprosessi voi käynnistää koneen uudelleen tai käynnistää prosessin uudelleen, korjata tietojen korruptiota tai jopa tehdä ihmisen puuttumista tarvittaessa. Ohjelmiston käyttämisen tärkein etu on, että se pystyy ylläpitämään hyviä kopioita sähköpostista, jotka priorisoivat korjaustoimenpiteitä, jos se löytää vähemmän kopioita. Käyttämällä tätä ohjelmistoa, kopiointi itse yksinkertaistettiin

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

Solid Drives (Solid State Drives) käyttöönotto kiintolevyjen sijaan.

Tiedämme SSD: t ovat paljon nopeampia kuin kiintolevyt. Kiinteät kiintolevyt, vaikka suuremmat ja halvemmat, ovat hitaita pyyntöjen käsittelyssä.

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

Vaikka tämä nopeus tulee hintaan, koska ne ovat paljon kalliita / gigatavua verrattuna kovaa Drives.

SSD: t käsittelevät jatkuvasti muuttuvaa kuormaa tehokkaasti. Tämä voidaan selittää, koska Hotmail ei ainoastaan tallenna sähköpostiviestejä vaan myös seuraa erilaisia jatkuvasti muuttuvia metatietoja, kuten postilaatikkoluettelon, viestien lukemisen / lukemattomuuden tilan, keskustelumenetelmän jne. Tämä metatieto on kuitenkin pieni osa tallennustilaa asettaa suurimman kuormituksen kiintolevyille jatkuvan luonteen takia. Joten SSD: t tallentavat metatietoja ja kovalevyjä viesteille tekee paremman ja tehokkaamman yhdistelmän.

Näiden parannusten lisäksi Hotmail paljastaa paljon lisää tulevissa tehtävissä. Uuden tallennusjärjestelmän käyttöönotto on jo aloitettu ja uudet klusterit perustuvat JBOD: iin. JBOD: lla on jo 30 miljoonaa käyttäjää, kun taas 100 miljoonaa siirtyy ajan kuluessa.
Näiden parannusten lisäksi Hotmail paljastaa paljon lisää tulevissa tehtävissä. Uuden tallennusjärjestelmän käyttöönotto on jo aloitettu ja uudet klusterit perustuvat JBOD: iin. JBOD: lla on jo 30 miljoonaa käyttäjää, kun taas 100 miljoonaa siirtyy ajan kuluessa.

Jos olet huomannut, Hotmail on tullut todella nopeaksi. Jos et ole - kokeile nyt.

Suositeltava: