Two reasons, roughly.
First, when English derives words from languages who handle pluralization differently–and here’s I’m using “differently” to mean “other than slapping an S on the end,” and eliding over the many ways English does plurals on its own–it sometimes borrows that language’s pluraliseringsformer, and sometimes doesn’t. Vi har f.eks. index/indices og medium/media (men i det tilfælde har singular/flertal udviklet deres egne særskilte betydninger, så vi har også “mediums”), men det japanske “katana” vil sandsynligvis blive gengivet i flertal som “katanas”, selv om det ikke er den japanske flertalsform. (Japansk markerer ikke flertal på sine navneord.) Bemærk, at “kolosser” også er et helt acceptabelt flertal.
For det andet har latin – som giver os kolos/colossi, som du nævner ovenfor – mere end én deklination, og flertalsformerne er forskellige alt efter, hvilken deklination et ord falder i. Således er det alumnus/alumni, men alumna/alumnae, for at vælge et let eksempel. Det oprindelige latinske pluralis for “penis” er “penes” – men “penes” er på nuværende tidspunkt mindre sandsynligt at blive brugt på engelsk end “penises”.