Pellegrino è apparso nella stagione 7, episodio 3 di The X-Files nel novembre 1999. Nel 2001, ha interpretato un sicario incompetente nell’acclamato Mulholland Drive di David Lynch.Pellegrino ha interpretato l’ex marito abusivo di Rita, Paul, in Dexter di Showtime; e più tardi come Lucifer in Supernatural e come il misterioso quasi-immortale Jacob in Lost della ABC. È apparso nelle serie televisive Northern Exposure, ER, Without a Trace, NYPD Blue, CSI: Crime Scene Investigation, e Knight Rider.
Ha interpretato il “Blond Thug” che infila la testa di The Dude nel water e fa cadere la sua palla da bowling, rompendo la piastrella del pavimento, nel film cult The Big Lebowski. È apparso in National Treasure nel ruolo dell’agente dell’FBI conosciuto come agente Johnson. Nel 2005, Pellegrino è apparso nel film premio Oscar Capote, interpretando l’assassino Dick Hickock.
Tra i suoi numerosi ruoli nei programmi televisivi via cavo e di rete, ha interpretato l’attentatore terrorista Bobby James in The Beast.
Nel marzo 2009, Pellegrino è stato scritturato nella serie ABC Lost per un’apparizione nell’episodio finale della quinta stagione, per interpretare il ruolo del misterioso Jacob. Anche se il comunicato stampa per l’episodio si riferisce al suo personaggio semplicemente come “Man No. 1”, l’episodio ha rivelato che Pellegrino ha interpretato Jacob, un misterioso personaggio fondamentale per la trama dello show.
Il 26 giugno 2009, è stato anche annunciato che Pellegrino è stato lanciato in un ruolo ricorrente come Lucifer nella quinta stagione della serie CW Supernatural. Ha avuto un ruolo ricorrente nella settima stagione, e un ruolo principale nelle stagioni 12 e 13. Ha avuto un ruolo principale nella stagione 14 come Nick, il contenitore di Lucifero, ed è stato un ospite speciale nella stagione 15.
Ha interpretato il vampiro “Bishop” nella serie horror SyFy Being Human nella prima stagione, e riprende il ruolo anche nelle stagioni 2 e 3 sia come flashback che allucinazioni.
Nel 2015, Pellegrino si è unito alla serie thriller della ABC Quantico interpretando il ruolo ricorrente del vice direttore dell’FBI Clayton Haas.
Pellegrino è stato anche presente come doppiatore nel gioco di successo del 2018 Far Cry 5 come Jacob Seed, uno degli antagonisti del gioco, come suo primo ruolo in un videogioco.