Pellegrino var med i säsong 7, avsnitt 3 av Arkiv X i november 1999. År 2001 spelade han en inkompetent torped i David Lynchs kritikerrosade Mulholland Drive. 2001 spelade Pellegrino huvudrollen som Ritas missbrukande ex-fånge Paul i Showtimes Dexter och senare som Lucifer i Supernatural och som den mystiske nästan odödlige Jacob i ABC:s Lost. Han har medverkat i tv-serierna Northern Exposure, ER, Without a Trace, NYPD Blue, CSI: Crime Scene Investigation och Knight Rider.
Han spelade den blonda skurken som stoppar ner huvudet på The Dude i toaletten och tappar hans bowlingkula så att golvet går sönder, i kultfilmen The Big Lebowski. Han var med i National Treasure som FBI-agent i bakgrunden, känd som Agent Johnson. År 2005 medverkade Pellegrino i den Oscarsbelönade filmen Capote, där han spelade mördaren Dick Hickock.
Bland sina många roller i kabel- och nätverks-tv-serier porträtterade han terroristbombaren Bobby James i The Beast.
I mars 2009 fick Pellegrino en roll i ABC-serien Lost för ett framträdande i det sista avsnittet av säsong 5, där han skulle spela rollen som den mystiske Jacob. Även om pressmeddelandet för avsnittet hänvisar till hans karaktär helt enkelt som ”Man No. 1”, avslöjade avsnittet att Pellegrino porträtterade Jacob, en mystisk karaktär som är central för seriens handling.
Den 26 juni 2009 tillkännagavs också att Pellegrino fick en återkommande roll som Lucifer i den femte säsongen av CW-serien Supernatural. Han spelade en återkommande roll i den sjunde säsongen och en huvudroll i säsongerna 12 och 13. Han spelade en huvudroll i säsong 14 som Nick, Lucifers kärl, och var en speciell gäst i säsong 15.
Han gestaltade vampyren ”Bishop” i skräckserien Being Human från SyFy i den första säsongen, och återupptar även rollen i säsong 2 och 3 i form av både flashbacks och hallucinationer.
2015 gick Pellegrino med i ABC:s thrillerserie Quantico och spelade den återkommande rollen som FBI:s biträdande chef Clayton Haas.
Pellegrino var också med som röstskådespelare i succéspelet Far Cry 5 från 2018 som Jacob Seed, en av antagonisterna i spelet, vilket var hans första roll i ett videospel.