Pellegrino apareceu na temporada 7, episódio 3 de Os Ficheiros Secretos em Novembro de 1999. Em 2001, ele interpretou um rebatedor incompetente no aclamado pela crítica de David Lynch Mulholland Drive.Pellegrino estrelou como o ex-marido abusivo de Rita Paul no Showtime’s Dexter; e mais tarde como Lucifer no Supernatural e como o misterioso quase imortal Jacob no ABC’s Lost. Ele apareceu na série de televisão Northern Exposure, ER, Without a Trace, NYPD Blue, CSI: Crime Scene Investigation, e Knight Rider.
Ele jogou o “Blond Thug” que enfiou a cabeça do cara na privada e jogou sua bola de boliche, quebrando o chão, no filme cult The Big Lebowski. Ele foi apresentado no National Treasure como o agente de fundo do FBI conhecido como Agente Johnson. Em 2005, Pellegrino apareceu no filme vencedor do Oscar Capote, interpretando o assassino Dick Hickock.
Entre seus numerosos papéis em programas de TV a cabo e de rede, ele retratou o terrorista bombista Bobby James em The Beast.
Em março de 2009, Pellegrino foi elenco da série ABC Lost para uma aparição no episódio final da Temporada 5, para interpretar o papel do misterioso Jacob. Embora o press release do episódio se refira ao seu personagem simplesmente como “Homem No. 1”, o episódio revelou que Pellegrino retratou Jacob, um personagem misterioso fundamental para o enredo do programa.
Em 26 de junho de 2009, também foi anunciado que Pellegrino foi elenco recorrente como Lúcifer na quinta temporada da série CW Supernatural. Ele desempenhou um papel recorrente na sétima temporada, e um papel principal nas temporadas 12 e 13. Ele desempenhou um papel principal na temporada 14 como Nick, o vaso de Lúcifer, e foi um convidado especial na temporada 15.
Ele retratou o vampiro “Bispo” na série SyFy horror Being Human na primeira temporada, e também reprises o papel na temporada 2 e 3 como flashbacks e alucinações.
Em 2015, Pellegrino juntou-se à série de thriller ABC Quantico desempenhando o papel recorrente de Clayton Haas, diretor adjunto do FBI.
Pellegrino também foi apresentado como ator de voz no jogo de sucesso de 2018 Far Cry 5 como Jacob Seed, um dos antagonistas do jogo, como seu primeiro papel em um videogame.