Pellegrino apareció en la temporada 7, episodio 3 de The X-Files en noviembre de 1999. En 2001, interpretó a un sicario incompetente en la aclamada Mulholland Drive de David Lynch.Pellegrino protagonizó el papel de Paul, el ex convicto abusivo de Rita, en la serie Dexter de Showtime; y más tarde como Lucifer en Supernatural y como el misterioso Jacob, casi inmortal, en Lost de ABC. Ha aparecido en las series de televisión Northern Exposure, ER, Without a Trace, NYPD Blue, CSI: Crime Scene Investigation y Knight Rider.
Interpretó al «matón rubio» que mete la cabeza de The Dude en el retrete y deja caer su bola de bolos, rompiendo la baldosa del suelo, en la película de culto The Big Lebowski. Apareció en National Treasure como el agente del FBI en segundo plano conocido como Agente Johnson. En 2005, Pellegrino apareció en la película ganadora del Oscar Capote, interpretando al asesino Dick Hickock.
Entre sus numerosos papeles en programas de televisión por cable y en cadena, interpretó al terrorista Bobby James en The Beast.
En marzo de 2009, Pellegrino fue contratado en la serie de ABC Lost para una aparición en el episodio final de la quinta temporada, para interpretar el papel del misterioso Jacob. Aunque el comunicado de prensa para el episodio se refiere a su personaje simplemente como «Man No. 1», el episodio reveló que Pellegrino retrató a Jacob, un misterioso personaje fundamental para la trama de la serie.
El 26 de junio de 2009, también se anunció que Pellegrino fue elegido para un papel recurrente como Lucifer en la quinta temporada de la serie CW Supernatural. Tuvo un papel recurrente en la séptima temporada, y un papel principal en las temporadas 12 y 13. Tuvo un papel principal en la temporada 14 como Nick, el recipiente de Lucifer, y fue un invitado especial en la temporada 15.
Representó al vampiro «Bishop» en la serie de terror de SyFy Being Human en la primera temporada, y también retoma el papel en la temporada 2 y 3 tanto en forma de flashbacks como de alucinaciones.
En 2015, Pellegrino se unió a la serie de suspense de ABC Quantico interpretando el papel recurrente del subdirector del FBI Clayton Haas.
Pellegrino también apareció como actor de voz en el exitoso juego de 2018 Far Cry 5 como Jacob Seed, uno de los antagonistas del juego, como su primer papel en un videojuego.