Pellegrino a apărut în sezonul 7, episodul 3 din The X-Files în noiembrie 1999. În 2001, a jucat rolul unui asasin incompetent în filmul Mulholland Drive al lui David Lynch, aclamat de critică.Pellegrino a jucat rolul fostului soț abuziv al fostului pușcăriaș al Ritei, Paul, în serialul Dexter de la Showtime; iar mai târziu a jucat rolul lui Lucifer în Supernatural și rolul misteriosului aproape nemuritor Jacob în serialul Lost de la ABC. A mai apărut în serialele de televiziune Northern Exposure, ER, Without a Trace, NYPD Blue, CSI: Crime Scene Investigation și Knight Rider.
L-a interpretat pe „Golanul blond” care îi bagă capul lui The Dude în toaletă și îi scapă mingea de bowling, spărgând gresia, în filmul cult The Big Lebowski. A apărut în National Treasure în rolul agentului FBI din fundal cunoscut sub numele de Agent Johnson. În 2005, Pellegrino a apărut în filmul câștigător al premiului Oscar Capote, interpretându-l pe criminalul Dick Hickock.
Printre numeroasele sale roluri în emisiuni de televiziune prin cablu și de rețea, l-a interpretat pe teroristul cu bombă Bobby James în serialul The Beast.
În martie 2009, Pellegrino a fost distribuit în serialul ABC Lost pentru o apariție în ultimul episod al sezonului 5, pentru a juca rolul misteriosului Jacob. Deși comunicatul de presă pentru episod se referă la personajul său pur și simplu ca fiind „Omul nr. 1”, episodul a dezvăluit că Pellegrino l-a portretizat pe Jacob, un personaj misterios esențial pentru intriga serialului.
La 26 iunie 2009, s-a anunțat, de asemenea, că Pellegrino a fost distribuit într-un rol recurent ca Lucifer în cel de-al cincilea sezon al serialului CW Supernatural. El a jucat un rol recurent în cel de-al șaptelea sezon și un rol principal în sezoanele 12 și 13. A jucat un rol principal în sezonul 14 în rolul lui Nick, recipientul lui Lucifer, și a fost un invitat special în sezonul 15.
L-a interpretat pe vampirul „Bishop” în serialul de groază SyFy Being Human în primul sezon și, de asemenea, reia rolul în sezonul 2 și 3 atât în flashback-uri, cât și în halucinații.
În 2015, Pellegrino s-a alăturat serialului thriller Quantico de la ABC, jucând rolul recurent al directorului adjunct al FBI Clayton Haas.
Pellegrino a apărut, de asemenea, ca actor de voce în jocul de succes din 2018 Far Cry 5 în rolul lui Jacob Seed, unul dintre antagoniștii jocului, fiind primul său rol într-un joc video.