Dwa powody, mniej więcej.
Po pierwsze, kiedy angielski wywodzi słowa z języków, które radzą sobie z pluralizacją inaczej – i tutaj używam „inaczej” w znaczeniu „inaczej niż klepiąc S na końcu,” i pomijając wiele sposobów, na jakie angielski robi liczbę mnogą na własną rękę – to czasami zapożycza formy liczby mnogiej z tego języka, a czasami nie. Na przykład, mamy index/indices i medium/media (chociaż w tym przypadku liczba pojedyncza/liczba mnoga rozwinęły swoje własne odrębne znaczenia, więc mamy też „mediums”), ale japońska „katana” będzie prawdopodobnie oddana w liczbie mnogiej jako „katanas”, mimo że nie jest to japońska forma liczby mnogiej. (Zauważ, że „colossuses” jest również całkowicie akceptowalną liczbą mnogą.
Po drugie, łacina – która daje nam colossus/colossi, o których wspominasz powyżej – ma więcej niż jedną deklinację, a formy liczby mnogiej różnią się w zależności od tego, do której deklinacji należy dane słowo. Tak więc jest to alumnus/alumni, ale alumna/alumnae, aby wybrać łatwy przykład. Oryginalna łacińska liczba mnoga dla „penisa” to „penes”- ale „penes” w tym momencie jest mniej prawdopodobne, że będzie używane w języku angielskim niż „penises”.