Pokud vás zajímalo, co mohlo vyřadit jednoho ze tří velkých mobilních operátorů ve Spojených státech z provozu – a udržet ho v tomto stavu po většinu celého dne – T-Mobile má nyní částečnou odpověď, která se týká jeho pondělního rozsáhlého celostátního výpadku.
Společnost vydala v úterý pozdě večer omluvu, kterou si můžete celou přečíst níže, a ve čtvrtek poskytl technický ředitel Neville Ray další vysvětlení, které najdete na konci tohoto příspěvku.
Zkrácená verze, pokud čteme správně: selhal optický okruh a selhal i jeho záložní okruh, což způsobilo řetězovou reakci, která zatížila síť do té míry, že mnoho hovorů a textových zpráv nemohlo projít.
Delší verze:
16. června 2020 18:23 PST
Aktuální informace o výkonu hlasových a textových služeb T-Mobile
Každý den vidíme, jak důležitou roli hrají technologie, které nás udržují ve spojení, a víme, že zákazníci T-Mobile spoléhají na naši síť, která jim zajišťuje spojení s rodinou, blízkými a poskytovateli služeb. Tuto odpovědnost bere můj tým velmi vážně a je pro nás nejvyšší prioritou. Včera jsme nesplnili naši vlastní laťku dokonalosti.
Mnoho našich zákazníků včera zaznamenalo problém s hlasovými a textovými službami, konkrétně s voláním VoLTE (Voice over LTE). Můj tým přijal okamžitá opatření – stovky našich inženýrů po celý den neúnavně pracovaly spolu s dodavateli a partnery na vyřešení problému od okamžiku, kdy jsme se o něm dozvěděli. Datové připojení nadále fungovalo, stejně jako naše volání bez VoLTE pro mnoho zákazníků, a služby jako FaceTime, iMessage, Google Meet, Google Duo, Zoom, Skype a další umožnily našim zákazníkům zůstat v kontaktu. Kromě toho mohlo mnoho zákazníků používat hlasové připojení s přepojováním okruhů a zákazníci v síti Sprint nebyli ovlivněni. Služba VoLTE a textové zprávy byly ve všech regionech plně obnoveny včera večer do 22:00 PDT. Jsem rád, že mohu říci, že síť je plně funkční… a den co den pracujeme na tom, aby tomu tak bylo i nadále.
Naši inženýři pracovali celou noc, aby pochopili hlavní příčinu včerejších problémů, vyřešili ji a zabránili jejímu opakování. Je známo, že spouštěcí událostí bylo selhání pronajatého optického okruhu od poskytovatele třetí strany na jihovýchodě. To je něco, co se stává v každé mobilní síti, takže jsme spolupracovali s našimi dodavateli na vytvoření redundance a odolnosti, abychom zajistili, že tyto typy selhání okruhů nebudou mít vliv na zákazníky. Tato redundance nám selhala a vyústila v situaci přetížení, která byla následně umocněna dalšími faktory. Toto přetížení mělo za následek bouři IP provozu, která se rozšířila z jihovýchodu a způsobila značné kapacitní problémy v páteřní síti IMS (IP multimediální subsystém), která podporuje hovory VoLTE.
Spolupracovali jsme s našimi dodavateli IMS (IP multimediální subsystém) a IP na přidání trvalých dodatečných ochranných opatření, aby se to neopakovalo, a nadále pracujeme na určení příčiny původního selhání přetížení.
Chci se tedy osobně omluvit za nepříjemnosti, které jsme včera způsobili, a děkuji vám za trpělivost, kterou jste měli při řešení situace.
Neville Ray
T-Mobile President of Technology
Není jasné, který optický okruh třetího poskytovatele selhal. V pondělí se objevila zpráva, že výpadek zaznamenala společnost Level 3, jeden z hlavních světových poskytovatelů páteřního internetu, ale její mluvčí řekl serveru TechCrunch něco jiného.
Ve čtvrtek Ray během prezentace na Wells Fargo Virtual 5G Forum výpadek bagatelizoval a tvrdil, že pouze 20 % hovorů společnosti T-Mobile bylo přerušeno, protože zákazníci místo toho mohli dokončit jiné hovory pomocí mobilních dat.
„Celá věc byla vyvolána výpadkem běžného zahradního vlákna,“ řekl a dodal, že to „odhalilo problém v konfiguraci směrování, který vedl k jedné z těchto IP záplav v celé síti“, což následně „vytvořilo všechny druhy kapacitních a ochranných opatření v architektuře jádra“.
„To, co jsme udělali, abychom se z toho tak nějak dostali, bylo, že jsme za běhu přidali spoustu kapacity poté, co jsme zjistili, kde ty problémy skutečně byly,“ řekl Ray.
„Musíme to dělat lépe,“ řekl Ray, aniž by nabídl nějaké konkrétní návrhy, jak by T-Mobile mohl podobným problémům v budoucnu předcházet. Výpadek označil za náhodu:
„Nikdy neříkej nikdy, výpadky jsou vždy součástí technologické společnosti, ale omlouváme se a jsme na lepším místě.“
„Nikdy neříkej nikdy, výpadky jsou vždy součástí technologické společnosti, ale omlouváme se a jsme na lepším místě“.