Pellegrino est apparu dans la saison 7, épisode 3 de The X-Files en novembre 1999. En 2001, il a joué le rôle d’un tueur à gages incompétent dans le film Mulholland Drive de David Lynch, qui a été acclamé par la critique.Pellegrino a joué le rôle de Paul, l’ex-mari violent de Rita, dans la série Dexter de Showtime ; et plus tard, celui de Lucifer dans Supernatural et celui du mystérieux quasi-immortel Jacob dans la série Lost d’ABC. Il est apparu dans les séries télévisées Northern Exposure, ER, Without a Trace, NYPD Blue, CSI : Crime Scene Investigation, et Knight Rider.
Il a joué le « voyou blond » qui fourre la tête du Dude dans les toilettes et fait tomber sa boule de bowling, brisant le carrelage, dans le film culte The Big Lebowski. Il est apparu dans National Treasure dans le rôle de l’agent du FBI connu sous le nom d’Agent Johnson. En 2005, Pellegrino est apparu dans le film Capote, récompensé par un Academy Award, dans le rôle du meurtrier Dick Hickock.
Parmi ses nombreux rôles dans des émissions de télévision par câble et par réseau, il a incarné le terroriste poseur de bombe Bobby James dans The Beast.
En mars 2009, Pellegrino a été retenu dans la série Lost d’ABC pour une apparition dans le dernier épisode de la saison 5, pour jouer le rôle du mystérieux Jacob. Bien que le communiqué de presse de l’épisode se réfère à son personnage simplement comme « l’homme n° 1 », l’épisode a révélé que Pellegrino a joué le rôle de Jacob, un personnage mystérieux central à l’intrigue de la série.
Le 26 juin 2009, il a également été annoncé que Pellegrino a été distribué dans un rôle récurrent de Lucifer dans la cinquième saison de la série Supernatural de la CW. Il a joué un rôle récurrent dans la septième saison, et un rôle principal dans les saisons 12 et 13. Il a joué un rôle principal dans la saison 14 en tant que Nick, le vaisseau de Lucifer, et a été un invité spécial dans la saison 15.
Il a interprété le vampire « Bishop » dans la série d’horreur Being Human de SyFy dans la première saison, et reprend également le rôle dans les saisons 2 et 3 sous forme de flashbacks et d’hallucinations.
En 2015, Pellegrino a rejoint la série à suspense Quantico d’ABC en jouant le rôle récurrent du directeur adjoint du FBI Clayton Haas.
Pellegrino a également été présenté en tant qu’acteur vocal dans le jeu à succès Far Cry 5 de 2018 en tant que Jacob Seed, l’un des antagonistes du jeu, comme son premier rôle dans un jeu vidéo.