Pellegrino 1999 novemberében tűnt fel az X-akták 7. évadának 3. epizódjában. 2001-ben David Lynch kritikusok által elismert Mulholland Drive című filmjében egy inkompetens bérgyilkost alakított. 2001-ben Pellegrino a Showtime Dexter című sorozatában Rita bántalmazó, volt fegyenc volt férjét, Pault alakította; később pedig Lucifer szerepében a Supernaturalban, valamint a titokzatos, majdnem halhatatlan Jacob szerepében az ABC Lost című sorozatában. Szerepelt a Northern Exposure, a ER, a Nyomtalanul, a NYPD Blue, a CSI: Crime Scene Investigation és a Knight Rider című sorozatokban.
Ő játszotta a “szőke gengsztert”, aki a The Big Lebowski című kultikus filmben a The Dude fejét a WC-be dugja, és elejti a bowlinggolyót, eltörve a padlócsempét. Szerepelt a Nemzeti kincsben, mint a Johnson ügynök néven ismert háttér FBI ügynök. 2005-ben Pellegrino szerepelt az Oscar-díjas Capote című filmben, ahol a gyilkos Dick Hickockot alakította.
Számos kábeles és hálózati tévéműsor szerepe mellett ő alakította Bobby James terrorista robbantót a The Beastben.
2009 márciusában Pellegrino szerepet kapott az ABC Lost című sorozatában, ahol az 5. évad utolsó epizódjában a titokzatos Jacobot alakította. Bár az epizód sajtóközleménye a karakterét egyszerűen csak “Man No. 1”-ként említi, az epizódból kiderült, hogy Pellegrino alakította Jacobot, a sorozat cselekménye szempontjából kulcsfontosságú titokzatos karaktert.
2009. június 26-án azt is bejelentették, hogy Pellegrino megkapta Lucifer visszatérő szerepét a CW Supernatural című sorozatának ötödik évadában. A hetedik évadban visszatérő szerepet, a 12. és 13. évadban pedig főszerepet játszott. A 14. évadban főszerepet játszott Nickként, Lucifer edényeként, és különleges vendégként szerepelt a 15. évadban.
A SyFy horrorsorozatában, a Being Humanben az első évadban ő alakította a vámpír “Bishopot”, és a második és harmadik évadban is visszatér a szerepre, mind flashbackek és hallucinációk formájában.
2015-ben Pellegrino csatlakozott az ABC Quantico című thrillersorozatához, amelyben Clayton Haas FBI igazgatóhelyettes visszatérő szerepét alakította.
Pellegrino a 2018-as Far Cry 5 című sikerjátékban is szerepelt, mint Jacob Seed, a játék egyik antagonistájának szinkronszínésze, ami az első szerepe videojátékban.