Dos razones, a grandes rasgos.
En primer lugar, cuando el inglés deriva palabras de lenguas que manejan la pluralización de forma diferente -y aquí estoy usando «de forma diferente» para referirme a «algo más que poner una S al final», y eludiendo las muchas formas en que el inglés hace los plurales por sí mismo- a veces toma prestadas las formas plurales de esa lengua, y a veces no. Por ejemplo, tenemos índice/índices y medio/medios (aunque en ese caso el singular/plural han desarrollado sus propios significados, por lo que también tenemos «medios»), pero la «katana» japonesa es probable que se traduzca en plural como «katanas» a pesar de no ser la forma plural japonesa. (El japonés no marca los plurales en sus sustantivos). Tenga en cuenta que «colossus» también es un plural perfectamente aceptable.
En segundo lugar, el latín -que nos da el colossus/colossi que menciona más arriba- tiene más de una declinación, y las formas plurales difieren en función de la declinación en la que cae una palabra. Así, por ejemplo, se habla de alumnus/alumni, pero también de alumna/alumnae. El plural original de «pene» en latín es «penes» -pero «penes» en este momento es menos probable que se use en inglés que «penises».