När amerikanska luftfartsmyndigheten FAA stoppade alla avgångar den 13 november var den första förklaringen problem med kommunikationen mellan flera flygledningscentraler. Nu har myndigheten berättat betydligt mer om vad som faktiskt hände.
Det gamla telekommunikationssystemet började ta emot omkring 1 000 anslutningsförsök var fjärde till femte sekund. Datatrafiken skapade instabilitet i system som förser flygledare med både radiokommunikation och radaruppgifter.
Annons
17 av 22 flygledningscentraler fick problem
Störningen började omkring klockan 15.30 lokal tid på USA östkust. Instabiliteten spred sig till 17 av FAA 22 stora Air Route Traffic Control Centers och vidare till flera terminalradarcentraler.
Systemet slocknade inte helt. Vissa radiofrekvenser och radarflöden fortsatte fungera, vilket gjorde att flygledarna kunde hålla kontakt med de omkring 3 500 flygplan som redan befann sig i luften.
FAA stoppade därför nya avgångar som en säkerhetsåtgärd medan tekniker försökte stabilisera nätverket. Trafiken började återupptas vid 20.15, vilket innebär att det rikstäckande stoppet varade i omkring fyra timmar och 45 minuter.
Alla flygplan som redan var i luften kunde landa säkert.
Läs mer: Ett fel på en millisekund stoppade över 2 000 flyg
Ett vanligt byte från koppar till fiber
Spåren leder till två platser: en radaranläggning i Amarillo i Texas och en radiokommunikationsanläggning i El Dorado i Arkansas.
Vid anläggningen i Arkansas hade FAA nätverksleverantör L3Harris genomfört ett rutinmässigt arbete där gammal telekommunikationsutrustning ersattes. Arbetet var en del av övergången från äldre kopparförbindelser till fiber och omfattade installationen av en ny router.
FAA betonar att den typen av byten har gjorts under många år utan liknande konsekvenser. Den här gången började däremot stora mängder anslutningsdata skickas ut i ett nätverk där delar fortfarande bygger på äldre TDM-teknik.
Resultatet blev att den gamla infrastrukturen inte kunde hantera trafiken stabilt.
1 000 försök var fjärde sekund
Det som gör incidenten anmärkningsvärd är mängden trafik.
FAA uppger att nätverket vid vissa tillfällen utsattes för omkring 1 000 nya anslutningsförsök under bara fyra till fem sekunder. Det skapade inte ett vanligt långsamt nätverk, utan störningar i system som flygledare använder för att kommunicera med och följa flygplan.
När teknikerna blockerade trafik från anläggningarna i Arkansas och Texas stabiliserades systemet. FAA stängde därefter även av den berörda sändningsfunktionen på de nya routrarna.
Som försiktighetsåtgärd har samma funktion nu stängts av på omkring 60 liknande routrar i flygledningsnätet.
Men exakt vad som gick fel är fortfarande oklart
Det går därför fortfarande inte att säga att en enda trasig router var hela orsaken.
FAA och L3Harris utreder om problemet låg i själva utrustningen, konfigurationen eller arbetet som utfördes när den nya nätverkslösningen installerades. Även radaranläggningen i Amarillo finns kvar som en möjlig källa till den trafik som överbelastade systemet.
AP rapporterar att utredarna därför tittar både på möjlig defekt utrustning och på om något gick fel under entreprenörens arbete.
Det korrekta är alltså att router- och fiberarbetet sammanföll med och bidrog till störningen. Den slutliga tekniska grundorsaken är ännu inte fastställd.
Ingen cyberattack bakom stoppet
När kritisk infrastruktur i ett helt land plötsligt får omfattande nätverksproblem ligger misstanken om en cyberattack nära till hands.
FAA säger däremot att all information hittills talar emot det. Myndigheten har inte hittat några tecken på att en extern angripare orsakade störningen.
Incidenten hade heller inget samband med Microsofts stora tjänsteavbrott som inträffade ungefär samtidigt. Outlook, Teams, Copilot och andra Microsoft 365-tjänster hade egna problem, men FAA och AP uppger att händelserna var separata.
Det nya AI-baserade systemet SMART, som FAA nyligen börjat rulla ut nationellt, var inte heller orsaken. SMART används för att samla och analysera trafikdata men matar enligt myndigheten inte information direkt in i det system som drabbades.
Över 12 000 flyg ställdes in samma dag
Konsekvenserna blev betydligt större än de drygt fyra timmar som själva stoppet varade. FAA uppger att omkring 12 462 flyg ställdes in under fredagen, varav 9 082 hos de större flygbolagen.
Myndigheten betonar att alla dessa inställda flyg inte nödvändigtvis berodde direkt på stoppet. När ett helt flygsystem fryser under flera timmar hamnar flygplan och besättningar samtidigt på fel platser, vilket fortsätter skapa förseningar efter att det tekniska felet är löst.
Återhämtningen fortsatte därför under hela helgen.
Gammal teknik mötte ett modernt nätverk
FAA pekar själv på den äldre infrastrukturen som en viktig del av problemet. Det berörda TDM-systemet bygger på teknik från en tid då telekommunikation i stor utsträckning skickades över dedikerade kopparförbindelser.
Nu ersätts sådana ledningar successivt med moderna IP- och fiberlösningar. Problemet är att övergången måste ske samtidigt som flygledningssystemet är i drift dygnet runt.
Det går inte att stänga ner USA flygtrafik några dagar och sedan starta ett helt nytt nätverk.
Därför måste gammal och ny teknik fungera tillsammans under övergången, och det var just i den miljön som fredagens problem uppstod.
Ett litet teknikjobb fick nationella konsekvenser
FAA kommer efter incidenten att se över när liknande underhållsarbeten genomförs. Större arbeten görs normalt nattetid när trafiken är lägre, men det aktuella routerbytet skedde vid en avlägsen anläggning där liknande jobb tidigare kunnat göras utan påverkan.
Efter fredagens händelse säger myndigheten att den rutinen ska omvärderas.
Det gör incidenten till ett tydligt exempel på hur beroende modern infrastruktur är av komponenter som de flesta resenärer aldrig tänker på. Flygplanen fungerade, piloterna kunde flyga och flygledarna fanns på plats.
Men när ett nätverk började skicka tusentals oväntade anslutningsförsök räckte det för att USA skulle stoppa alla nya flygavgångar.
Spela lite spel!
Spela lite spel från TeknikGeeks redaktions utvalda bibliotek. Ett slumpmässigt spel i varje artikel.
