Två anledningar, ungefär.
För det första, när engelskan härleder ord från språk som hanterar pluralisering på ett annorlunda sätt – och här använder jag ”annorlunda” för att betyda ”annat än att sätta ett S på slutet” och bortser från de många sätt på vilka engelskan hanterar pluralformer på egen hand – lånar den ibland det språkets pluralformer, och ibland inte. Vi har till exempel index/indices och medium/media (även om singular/plural i det fallet har utvecklat sina egna distinkta betydelser, så vi har också ”mediums”), men det japanska ”katana” kommer sannolikt att återges i plural som ”katanas” trots att det inte är den japanska pluralformen. (Japanskan markerar inte pluralformer på sina substantiv.) Observera att ”colossuses” också är en fullt acceptabel plural.
För det andra har latinet – som ger oss colossus/colossi som du nämner ovan – mer än en deklination, och pluralformerna skiljer sig åt beroende på vilken deklination ett ord tillhör. Det är alltså alumnus/alumni, men alumna/alumnae, för att ta ett enkelt exempel. Den ursprungliga latinska pluralformen för ”penis” är ”penes” – men ”penes” är vid det här laget mindre troligt att användas på engelska än ”penises”.