Deux raisons, en gros.
Premièrement, lorsque l’anglais dérive des mots de langues qui gèrent la pluralisation différemment – et ici j’utilise « différemment » pour signifier « autre que de claquer un S à la fin », et élide les nombreuses façons dont l’anglais fait les pluriels par lui-même – il emprunte parfois les formes plurielles de cette langue, et parfois non. Par exemple, nous avons index/indices et medium/media (bien que dans ce cas le singulier et le pluriel aient développé leurs propres significations distinctes, nous avons donc aussi « mediums »), mais le japonais « katana » est susceptible d’être rendu au pluriel par « katanas » bien que ce ne soit pas la forme plurielle japonaise. (Le japonais ne marque pas le pluriel sur ses noms.) Notez que « colosses » est également un pluriel parfaitement acceptable.
Deuxièmement, le latin – qui nous donne le colosse/colossi que vous mentionnez ci-dessus – a plus d’une déclinaison, et les formes plurielles diffèrent en fonction de la déclinaison dans laquelle un mot tombe. Ainsi, on parle d’alumnus/alumni, mais aussi d’alumna/alumnae, pour prendre un exemple simple. Le pluriel latin original pour « pénis » est « penes »–mais « penes » à ce stade est moins susceptible d’être utilisé en anglais que « penises ».