Pellegrino optrådte i sæson 7, afsnit 3 af The X-Files i november 1999. I 2001 spillede han en inkompetent lejemorder i David Lynchs anmelderroste Mulholland Drive.Pellegrino spillede hovedrollen som Ritas misbrugende tidligere mand Paul i Showtimes Dexter; og senere som Lucifer i Supernatural og som den mystiske næsten udødelige Jacob i ABC’s Lost. Han har medvirket i tv-serierne Northern Exposure, ER, Without a Trace, NYPD Blue, CSI: Crime Scene Investigation og Knight Rider.
I kultfilmen The Big Lebowski spillede han “Blond Thug”, der propper The Dude’s hoved ned i toilettet og taber hans bowlingkugle, hvorved gulvfliserne går i stykker. Han var med i National Treasure som FBI-agenten i baggrunden, kendt som Agent Johnson. I 2005 medvirkede Pellegrino i den Oscar-vindende film Capote, hvor han spillede morderen Dick Hickock.
I en af sine mange roller i kabel- og netværks-tv-shows spillede han terrorbombemanden Bobby James i The Beast.
I marts 2009 blev Pellegrino castet i ABC-serien Lost til en optræden i det sidste afsnit af sæson 5, hvor han spillede rollen som den mystiske Jacob. Selv om pressemeddelelsen til episoden henviser til hans karakter blot som “Man No. 1”, afslørede episoden, at Pellegrino portrætterede Jacob, en mystisk karakter, der er central for seriens plot.
Den 26. juni 2009 blev det også annonceret, at Pellegrino blev castet i en tilbagevendende rolle som Lucifer i femte sæson af CW-serien Supernatural. Han spillede en tilbagevendende rolle i den syvende sæson og en hovedrolle i sæson 12 og 13. Han spillede en hovedrolle i sæson 14 som Nick, Lucifers fartøj, og var en særlig gæst i sæson 15.
Han portrætterede vampyren “Bishop” i SyFy-gyserserien Being Human i første sæson, og han gentager også rollen i sæson 2 og 3 som både flashbacks og hallucinationer.
I 2015 deltog Pellegrino i ABC-thrillerserien Quantico, hvor han spillede den tilbagevendende rolle som FBI-vicedirektør Clayton Haas.
Pellegrino var også med som stemmeskuespiller i 2018-hitspillet Far Cry 5 som Jacob Seed, en af antagonisterne i spillet, hvilket var hans første rolle i et videospil.