Pellegrino trat im November 1999 in Staffel 7, Folge 3 von Akte X auf. Im Jahr 2001 spielte er einen inkompetenten Auftragskiller in David Lynchs von der Kritik gefeiertem Film Mulholland Drive. Pellegrino spielte die Hauptrolle von Ritas missbräuchlichem Ex-Knacki-Ehemann Paul in Showtime’s Dexter; und später als Lucifer in Supernatural und als der mysteriöse fast unsterbliche Jacob in ABC’s Lost. Er trat in den Fernsehserien Northern Exposure, ER, Without a Trace, NYPD Blue, CSI: Crime Scene Investigation und Knight Rider auf.
In dem Kultfilm The Big Lebowski spielte er den „Blond Thug“, der den Kopf von The Dude in die Toilette stopft und seine Bowlingkugel fallen lässt, wodurch die Bodenfliesen zerbrechen. In National Treasure war er als FBI-Agent Agent Johnson zu sehen, der im Hintergrund arbeitet. Im Jahr 2005 erschien Pellegrino in dem mit einem Oscar ausgezeichneten Film Capote, in dem er den Mörder Dick Hickock spielte.
Zu seinen zahlreichen Rollen in Kabel- und Netzwerk-Fernsehshows gehörte die Darstellung des terroristischen Bombenlegers Bobby James in The Beast.
Im März 2009 wurde Pellegrino für einen Auftritt in der letzten Folge der fünften Staffel der ABC-Serie Lost gecastet, um die Rolle des mysteriösen Jacob zu spielen. Obwohl die Pressemitteilung für die Episode bezieht sich auf seinen Charakter einfach als „Man No. 1“, die Episode offenbart, dass Pellegrino porträtiert Jacob, eine geheimnisvolle Figur Dreh- und Angelpunkt der Handlung der Show.
Am 26. Juni 2009 wurde auch bekannt, dass Pellegrino in einer wiederkehrenden Rolle als Lucifer in der fünften Staffel der CW-Serie Supernatural besetzt wurde. Er spielte eine wiederkehrende Rolle in der siebten Staffel und eine Hauptrolle in den Staffeln 12 und 13. Er spielte eine Hauptrolle in Staffel 14 als Nick, Luzifers Gefäß, und war ein besonderer Gast in Staffel 15.
Er stellte den Vampir „Bishop“ in der SyFy-Horrorserie Being Human in der ersten Staffel dar, und wiederholt die Rolle auch in Staffel 2 und 3 sowohl in Rückblenden als auch in Halluzinationen.
Im Jahr 2015 schloss sich Pellegrino der ABC-Thrillerserie Quantico an, in der er die wiederkehrende Rolle des stellvertretenden FBI-Direktors Clayton Haas spielte.
Pellegrino war auch als Synchronsprecher in dem 2018 erschienenen Spiel Far Cry 5 als Jacob Seed zu hören, einem der Antagonisten des Spiels, als seine erste Rolle in einem Videospiel.