Als je je hebt afgevraagd waarom een van de drie grote mobiele providers in de Verenigde Staten niet in staat is gesprekken en sms-berichten te versturen – en dat bijna een hele dag vol te houden – dan heeft T-Mobile nu een gedeeltelijk antwoord met betrekking tot de uitgebreide landelijke uitval van maandag.
Het bedrijf gaf een verontschuldiging eind dinsdag die u hieronder in zijn geheel kunt lezen, en op donderdag, CTO Neville Ray gaf een verdere uitleg die u onderaan dit bericht vindt.
De korte versie, als we dit goed lezen: een glasvezelcircuit faalde, en het back-upcircuit faalde ook, wat een kettingreactie veroorzaakte die het netwerk overbelastte tot het punt dat veel oproepen en sms’jes er niet doorheen konden komen.
De langere versie:
Juni 16, 2020 6:23pm PST
Update over T-Mobile spraak- en tekstprestaties
Iedere dag zien we de vitale rol die technologie speelt om ons verbonden te houden, en we weten dat T-Mobile-klanten op ons netwerk vertrouwen om ervoor te zorgen dat ze verbindingen hebben met familie, geliefden en serviceproviders. Dit is een verantwoordelijkheid die mijn team zeer serieus neemt en die onze hoogste prioriteit heeft. Gisteren voldeden we niet aan onze eigen lat voor uitmuntendheid.
Veel van onze klanten ondervonden gisteren een spraak- en tekstprobleem, met name met VoLTE (Voice over LTE) bellen. Mijn team nam onmiddellijk actie – honderden van onze ingenieurs werkten de hele dag onvermoeibaar samen met leveranciers en partners om het probleem op te lossen vanaf het moment dat we ervan op de hoogte waren. Dataverbindingen bleven werken, net als onze non-VoLTE-bellen voor veel klanten en diensten als FaceTime, iMessage, Google Meet, Google Duo, Zoom en Skype stelden onze klanten in staat om in contact te blijven. Bovendien konden veel klanten circuitgeschakelde spraakverbindingen gebruiken en werden klanten op het Sprint-netwerk niet beïnvloed. VoLTE en sms waren in alle regio’s volledig hersteld tegen 22u PDT gisterenavond. Ik ben blij te kunnen zeggen dat het netwerk volledig operationeel is… en we werken er dag in dag uit aan om dat zo te houden.
Onze ingenieurs hebben de hele nacht doorgewerkt om de hoofdoorzaak van de problemen van gisteren te begrijpen, deze aan te pakken en te voorkomen dat het opnieuw gebeurt. De oorzaak is een storing in een gehuurd glasvezelcircuit van een externe provider in het zuidoosten. Dit gebeurt op elk mobiel netwerk, dus we hebben samengewerkt met onze leveranciers om redundantie en veerkracht te bouwen om ervoor te zorgen dat dit soort circuitstoringen geen gevolgen hebben voor klanten. Deze redundantie liet ons in de steek en resulteerde in een overbelastingssituatie die nog werd verergerd door andere factoren. Deze overbelasting resulteerde in een IP-verkeersstorm die zich vanuit het zuidoosten verspreidde om aanzienlijke capaciteitsproblemen te creëren in het IMS (IP Multimedia Subsystem) kernnetwerk dat VoLTE-oproepen ondersteunt.
We hebben samengewerkt met onze IMS (IP Multimedia Subsystem) en IP-leveranciers om permanente extra beveiligingen toe te voegen om te voorkomen dat dit opnieuw gebeurt en we blijven werken aan het bepalen van de oorzaak van de initiële overbelastingstoring.
Dus, ik wil me persoonlijk verontschuldigen voor het ongemak dat we gisteren hebben veroorzaakt en ik dank u voor uw geduld terwijl we door de situatie naar een oplossing werkten.
Neville Ray
T-Mobile President of Technology
Het is niet duidelijk welke derde partij het vezelcircuit van de provider heeft laten falen. Er was een rapport op maandag dat Level 3, een van ’s werelds grootste internet-backbone-providers, een uitval ondervond, maar een woordvoerder vertelde TechCrunch anders.
Op donderdag bagatelliseerde Ray de uitval tijdens een presentatie op het Wells Fargo Virtual 5G Forum, waarbij hij beweerde dat slechts 20 procent van T-Mobile’s oproepen werd verbroken omdat klanten in staat waren om in plaats daarvan andere gesprekken te voltooien met behulp van mobiele gegevens.
“Het hele ding werd getriggerd door een uitval van een gemeenschappelijke tuinvezel,” zei hij, eraan toevoegend dat het “een probleem blootlegde in een routeringsconfiguratie die leidde tot een van deze IP-floods over het netwerk,” die op zijn beurt “allerlei capaciteits- en beschermingsmaatregelen in de kernarchitectuur creëerde”.
“Wat we hebben gedaan om daar een beetje doorheen te komen was het toevoegen van veel capaciteit on the fly, nadat we hadden uitgezocht waar de problemen echt bestonden,” zei Ray.
“We moeten het beter doen,” zei Ray, zonder specifieke suggesties te doen over hoe T-Mobile een dergelijk probleem in de toekomst zou kunnen voorkomen. Hij karakteriseerde de uitval als toeval: “Het was een reeks gebeurtenissen die, in veel opzichten, van de vezeluitval, tot het routeringsnetwerk, tot de kernkwetsbaarheid, al die dingen gebeurden tegelijkertijd en dat is de uitval die we zagen.”
“Zeg nooit nooit, uitval maakt altijd deel uit van het zijn van een technologiebedrijf, maar we verontschuldigen ons en we zijn op een betere plek.”