Quando tinha 15 anos, Perry mudou-se de Ottawa para Los Angeles para continuar a representar e frequentou a The Buckley School em Sherman Oaks, graduando-se em 1987. Ele continuou a comédia de improviso na LA Connection em Sherman Oaks enquanto ainda estava no ensino médio.
Ele passou a interpretar Chazz Russell na série de TV Second Chance. Após 13 episódios, Second Chance se tornou Boys Will Be Boys, com os enredos recentrados nas aventuras de Chazz e seus amigos adolescentes. Depois da temporada de single do programa, Perry ficou em Los Angeles e fez sua estréia no cinema no filme A Night in the Life of Jimmy Reardon de 1988. Em 1989, Perry teve um arco de três episódios na série Growing Pains, na qual retratou o namorado de Carol Seaver, ‘Sandy’, que morre no hospital após um acidente de dirigir embriagado.
Em meio aos seus muitos papéis contínuos de convidado na TV, Perry foi elenco regular da sitcom da CBS Sydney de 1990, interpretando o irmão mais novo do personagem título de Valerie Bertinelli. Em 1991, ele fez uma aparição como convidado em Beverly Hills, 90210 como Roger Azarian. Perry pousou seu próximo papel na TV, estrelando na sitcom do ABC Home Free, que foi ao ar apenas 11 episódios na primavera de 1993, seguido por um piloto de sitcom intitulado LAX 2194.
Ele tentou garantir uma audição para o piloto Six of One, mais tarde conhecido como Friends, de Marta Kauffman e David Crane, ambos com quem ele havia trabalhado no Dream On. Entretanto, devido a compromissos anteriores com o piloto LAX 2194, ele não foi inicialmente considerado para uma audição. Quando acabou por conseguir uma leitura, aterrou a parte do Chandler Bing.
Friends foi extremamente bem sucedido, e Perry, juntamente com os seus co-stars, ganhou amplo reconhecimento entre os espectadores de televisão. O programa lhe rendeu uma indicação do Emmy em 2002 para o Outstanding Lead Actor in a Comedy Series, junto com Matt LeBlanc, mas os dois perderam para Ray Romano. Perry apareceu em filmes como Fools Rush In (ao lado do pai John Bennett Perry e Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (ao lado de Bruce Willis) e sua sequela The Whole Ten Yards, e Serving Sara.
Embora seja conhecido principalmente por seus papéis cômicos, Perry também desenvolveu uma carreira dramática, particularmente em seu retrato de Associate White House Counsel Joe Quincy em The West Wing, de Aaron Sorkin. Suas três participações nessa série (duas vezes na quarta temporada e uma na quinta) lhe rendeu duas indicações ao Emmy para Ator Convidado de Destaque em uma série dramática em 2003 e 2004. Perry é referido no programa antes da sua aparição como convidado – Donna Moss procura-o (fora do ecrã) no episódio “20 Horas em Los Angeles”. Ele também apareceu como advogado Todd Merrick em dois episódios perto do final da temporada de cinco temporadas de Ally McBeal, incluindo um especial de 2 horas destinado a reviver a comédia-drama legal.
Após o encerramento de Friends, Perry fez sua estréia como diretor em um episódio da 4ª temporada da comédia-drama Scrubs americana, no qual ele também foi convidado estrelado como “Murray Marks”, um operador da equipe de controle de tráfego de um pequeno aeroporto. Murray é convidado a doar um rim ao seu pai Gregory (interpretado pelo verdadeiro pai de Perry).
Ele estrelou o filme TNT, The Ron Clark Story também conhecido como “The Triumph”, que estreou no dia 13 de agosto de 2006. Perry interpretou o professor Ron Clark, que se muda para a turma mais difícil do país. Perry recebeu uma indicação para o Globo de Ouro, assim como uma indicação para o Emmy pela sua performance.
De 2006 a 2007, Perry apareceu no drama Studio 60 de Aaron Sorkin na Sunset Strip. Perry interpretou Matt Albie ao lado de Danny Tripp, de Bradley Whitford, uma dupla de escritores-diretores trazida para ajudar a salvar um programa de sketch fracassado. O personagem de Perry foi considerado substancialmente baseado nas próprias experiências pessoais de Sorkin, particularmente na televisão.
Em 2006, ele começou a filmar Numb, um filme baseado em um homem sofrendo de despersonalização. A data provisória de lançamento do filme foi adiada várias vezes, mas finalmente foi lançado em DVD no dia 13 de maio de 2008. Ele também apareceu no filme Perversidade Sexual de David Mamet em Chicago, em Londres. Em 2009, ele estrelou no filme 17 Again playing the older Mike O’Donnell.
Em 2008, Perry estrelou no filme offbeat Birds of America como Morrie Tanager, um homem nervoso que tem de lidar com os seus irmãos. O showtime passou um piloto chamado The End of Steve, uma estrela da comédia negra, escrita e produzida por Perry e Peter Tolan.
O novo piloto de comédia de Perry, Mr. Sunshine, baseado na ideia original de Perry para o show, foi comprado pela ABC. Perry foi preparado para retratar um homem de meia-idade com uma crise de identidade. A ABC cancelou a série após nove episódios.
Em 1 de março de 2012, foi relatado que Perry tinha se inscrito para estrelar no piloto de comédia da NBC Go On, escrito e produzido pelo ex-escritor/produtor Amigos Scott Silveri. O projeto foi escolhido para a série em maio de 2012. Perry retratou Ryan King, um locutor esportivo que tenta seguir em frente após a morte de sua esposa através da ajuda de sessões de terapia obrigatória. O piloto foi ao ar em 8 de agosto de 2012 como uma “prévia” após as Olimpíadas de Verão de 2012. A série estreou em 11 de setembro de 2012. Em 2 de outubro de 2012, a NBC encomendou uma temporada completa de 22 episódios. A NBC cancelou Go On em maio de 2013, logo após a conclusão de sua primeira temporada.
Em 2012, Perry guest-starred no drama da CBS The Good Wife, como o advogado Mike Kresteva. Em 2013, ele repreendeu seu papel na quarta temporada.
Em 2014, Perry fez sua estréia na TV britânica no programa de comédia The Dog Thrower, que foi ao ar no dia 1 de maio como parte da Sky Arts’ Playhouse Presents. Perry retratou “um homem carismático” que encantou os espectadores ao atirar o seu cão para o ar. De 2015 a 2017, Perry estrelou, co-escreveu, e serviu como produtor executivo de um renascimento da sitcom The Odd Couple na CBS. Perry interpretou Oscar Madison em frente a Thomas Lennon como Felix Unger.
Perry desempenhou o papel principal em uma nova produção de sua peça The End of Longing, que estreou em 11 de fevereiro de 2016, no Playhouse Theatre em Londres. A peça foi transferida do Off-Broadway para o MCC Theater, que estreou em 5 de junho de 2017, com Jennifer Morrison.
Em março de 2017, Perry voltou a repreender seu papel como advogado Mike Kresteva, em The Good Fight, um show sequencial do drama da CBS The Good Wife.
Later em 2017, ele estrelou como Ted Kennedy na minissérie The Kennedys: Depois de Camelot.
Em 2018, Business Insider informou que o património líquido de Perry era de cerca de $80 milhões.