Due ragioni, all’incirca.
In primo luogo, quando l’inglese deriva parole da lingue che gestiscono la pluralizzazione in modo diverso – e qui sto usando “in modo diverso” per intendere “oltre a schiaffare una S alla fine”, ed eludendo i molti modi in cui l’inglese fa i plurali da solo – a volte prende in prestito le forme plurali di quella lingua, e a volte no. Per esempio, abbiamo index/indices e medium/media (anche se in questo caso il singolare/plurale ha sviluppato i propri significati distinti, quindi abbiamo anche “medium”), ma il giapponese “katana” è probabile che venga reso al plurale come “katana” nonostante non sia la forma plurale giapponese. (Si noti che anche “colossi” è un plurale perfettamente accettabile.
In secondo luogo, il latino – che ci dà il colosso/colossi di cui parli sopra – ha più di una declinazione, e le forme plurali differiscono in base a quale declinazione una parola cade. Così è alumnus/alumni, ma alumna/alumnae, per scegliere un esempio facile. Il plurale latino originale per “pene” è “penes” – ma “penes” a questo punto è meno probabile che venga usato in inglese di “penises”.