Pellegrino was te zien in seizoen 7, aflevering 3 van The X-Files in november 1999. In 2001 speelde hij een incompetente huurmoordenaar in David Lynch’ veelgeprezen Mulholland Drive. Pellegrino speelde de hoofdrol als Rita’s mishandelende ex-echtgenoot Paul in Showtime’s Dexter; en later als Lucifer in Supernatural en als de mysterieuze bijna-ongeldige Jacob in ABC’s Lost. Hij was te zien in de televisieseries Northern Exposure, ER, Without a Trace, NYPD Blue, CSI: Crime Scene Investigation, en Knight Rider.
Hij speelde de “Blond Thug” die The Dude’s hoofd in het toilet propt en zijn bowlingbal laat vallen, waardoor de vloertegel breekt, in de cultfilm The Big Lebowski. Hij was te zien in National Treasure als de achtergrond FBI-agent bekend als Agent Johnson. In 2005 verscheen Pellegrino in de Academy Award winnende film Capote, waar hij de moordenaar Dick Hickock speelde.
Tot zijn talrijke kabel en netwerk televisieprogramma rollen, portretteerde hij de terroristische bommenlegger Bobby James in The Beast.
In maart 2009 werd Pellegrino gecast voor de ABC-serie Lost voor een optreden in de laatste aflevering van seizoen 5, om de rol van de mysterieuze Jacob te spelen. Hoewel het persbericht voor de aflevering verwijst naar zijn karakter simpelweg als “Man No. 1”, onthulde de aflevering dat Pellegrino Jacob portretteerde, een mysterieus personage dat een centrale rol speelt in de plot van de show.
Op 26 juni 2009 werd ook aangekondigd dat Pellegrino werd gecast in een terugkerende rol als Lucifer in het vijfde seizoen van de CW-serie Supernatural. Hij speelde een terugkerende rol in het zevende seizoen, en een hoofdrol in de seizoenen 12 en 13. Hij speelde een hoofdrol in seizoen 14 als Nick, Lucifer’s vaartuig, en was een speciale gast in seizoen 15.
Hij portretteerde de vampier “Bishop” in de SyFy-horrorserie Being Human in het eerste seizoen, en herneemt de rol ook in seizoen 2 en 3 als zowel flashbacks als hallucinaties.
In 2015 trad Pellegrino toe tot de ABC-thrillerserie Quantico en speelde de terugkerende rol van FBI-adjunct-directeur Clayton Haas.
Pellegrino was ook te zien als stemacteur in de 2018-hitgame Far Cry 5 als Jacob Seed, een van de antagonisten van het spel, als zijn eerste rol in een videogame.