Servera avārija CERT.LV rīkā Graphoscope, ja lietotājs atvienojas augšupielādes laikā

§ 01. Pārskats

Graphoscope ir CERT.LV atvērtā koda analīzes platforma. Analītiķi no vienas tīmekļa saskarnes veic vaicājumus daudzos neatkarīgos datu avotos – pasīvajā DNS, klientu datubāzēs, nopludinātu piekļuves datu kopās un citos – un redz rezultātus kā saistītu entītiju grafu. Lietotājs var augšupielādēt indikatoru sarakstu pakešapstrādei: serveris to apstrādā fonā un, kad pārskats ir gatavs, paziņo lietotājam caur WebSocket.

OffSeq konstatēja, ka šis paziņojums varēja apturēt visu serveri. Ja lietotājs atvienojās pirms apstrādes beigām, fona uzdevums rakstīja jau slēgtā WebSocket savienojumā, un radusies panika pārtrauca Graphoscope procesu.

§ 02. Cēlonis

uploadHandler apstrādi palaiž gorutīnā (upload.go:253). Kad tā beidzas, processUploads izsauc a.send("upload-processed", …) (upload.go:413). Account.send pārbaudīja tikai a.Session == nil – taču, klientam atvienojoties, atliktā slēgšana funkcijā listen() sesiju atstāj un notīra tikai savienojumu:

1defer func() {2    close(a.Session.Done)3    a.Session.Websocket.Close()4    a.Session.Websocket = nil5    delete(online, a.Username)6}()

Tā kā a.Session nebija nil, bet a.Session.Websocket bija nil, pārbaude izdevās un WriteMessage dereferencēja nil rādītāju. Turklāt slēgšana notīrīja lauku, neturot WebsocketMutex, tāpēc ar nil pārbaudi send() vien joprojām pastāvētu sacensību stāvoklis. Gorutīnai nebija recover(), tāpēc panika netika ierobežota:

1panic: runtime error: invalid memory address or nil pointer dereference2[signal SIGSEGV: segmentation violation code=0x2 addr=0x10 pc=0x104d606b4]34github.com/gorilla/websocket.(*Conn).WriteMessage(...)5        .../gorilla/websocket@v1.5.3/conn.go:760 +0x246main.(*Account).send(...)7        .../graphoscope/websocket.go:502 +0x1748main.(*Account).processUploads(...)9        .../graphoscope/upload.go:413 +0xaa8

§ 03. Ietekme

Viena augšupielāde un aizvērts savienojums aptur visu pakalpojumu, un visi pieteikušies lietotāji zaudē sesiju. Avārija nav atkarīga no šaura laika loga: pietiek aizvērt savienojumu jebkurā brīdī pirms apstrādes beigām, tāpēc izraisītājs nostrādā katru reizi.

Graphoscope atļauj pašreģistrāciju caur /signup, tāpēc uzbrucējam nav vajadzīgs nekas vairāk par paša izveidotu kontu. Atkārtojot pieprasījumu, platforma paliek nepieejama tik ilgi, cik uzbrucējs to turpina.

§ 04. Labojums

OffSeq iesniedza labojumu, kas skar tikai websocket.go:

• send() beidz darbu uzreiz, ja sesija ir nil, pirms tiek nolasīts kāds tās lauks – iepriekšējais kļūdas ceļš žurnāla ierakstā dereferencēja a.Session.IP;
• send() atkārtoti pārbauda, vai a.Session.Websocket nav nil, turot WebsocketMutex – tieši tur to maina slēgšana;
• slēgšana funkcijā listen() izmanto to pašu mutex ap Close() un nil piešķiršanu, tāpēc rakstītājs nekad neredz daļēji slēgtu savienojumu.

Atkārtotā pārbaudē tā pati reproducēšana pakalpojumu neapturēja: žurnālā bija redzams, ka klients aizver savienojumu un apstrādātais fails tiek pievienots lejupielāžu sarakstam, un /signin turpināja atbildēt ar 200. Kā turpmāki darbi tika ieteikti trīs saistīti uzlabojumi – slēgums koplietotajai online kartei, augšējā līmeņa recover() gorutīnās, ko palaiž pieprasījumu apstrādātāji, un pieprasījuma konteksta atcelšana apstrādei, kas vēl notiek. CERT.LV izmaiņas iekļāva kā izmaiņu pieprasījumu #9.