Duas razões, aproximadamente.
Primeiro, quando o inglês deriva palavras de línguas que lidam com a pluralização de forma diferente–e aqui estou usando “diferentemente” para significar “além de dar um S no final”, e fugindo das muitas maneiras em que o inglês faz plurals por si só– às vezes empresta as formas plurais dessa língua, e às vezes não. Por exemplo, temos índices/índices e meios/meios (embora nesse caso o singular/plural tenha desenvolvido seus próprios significados distintos, então também temos “meios”), mas é provável que o “katana” japonês seja renderizado no plural como “katanas”, apesar de não ser a forma plural japonesa. Note que “colossos” também é um plural perfeitamente aceitável.
Segundo, Latim – o que nos dá o colosso/colossi que você mencionou acima – tem mais de uma declinação, e as formas plurais diferem com base na declinação em que uma palavra cai. Assim, é alumnus/alumni, mas alumna/alumnae, para escolher um exemplo fácil. O plural original em latim para “pénis” é “pénis” – mas “pénis” neste ponto é menos provável que seja usado em inglês do que “pénis”.