A 15 anni, Perry si trasferì da Ottawa a Los Angeles per dedicarsi alla recitazione e frequentò la Buckley School a Sherman Oaks, diplomandosi nel 1987. Ha continuato la commedia improvvisata al LA Connection a Sherman Oaks mentre era ancora al liceo.
Ha continuato ad interpretare Chazz Russell nella serie TV Second Chance. Dopo 13 episodi, Second Chance divenne Boys Will Be Boys, con le trame rifocalizzate sulle avventure di Chazz e dei suoi amici adolescenti. Dopo l’unica stagione dello show, Perry rimase a Los Angeles e fece il suo debutto sul grande schermo nel film del 1988 Una notte nella vita di Jimmy Reardon. Nel 1989, Perry ha avuto un arco di tre episodi nella serie Growing Pains, in cui ha interpretato il fidanzato di Carol Seaver ‘Sandy’ che muore in ospedale dopo un incidente di guida in stato di ebbrezza.
Nel mezzo dei suoi molti ruoli di ospite continuo in TV, Perry è stato lanciato come un regolare nella sitcom CBS 1990 Sydney, interpretando il fratello minore del personaggio del titolo di Valerie Bertinelli. Nel 1991, ha fatto un’apparizione in Beverly Hills, 90210 come Roger Azarian. Perry ottenne il suo successivo ruolo da protagonista in TV nella sitcom della ABC Home Free, che andò in onda solo in 11 episodi nella primavera del 1993, seguita da una sitcom pilota intitolata LAX 2194.
Tentò di assicurarsi un’audizione per il pilot Six of One, poi noto come Friends, di Marta Kauffman e David Crane, entrambi con cui aveva lavorato in Dream On. Tuttavia, a causa di precedenti impegni per il pilot LAX 2194, non fu inizialmente considerato per un’audizione. Quando alla fine ottenne una lettura, ottenne la parte di Chandler Bing.
Friends ebbe un enorme successo, e Perry, insieme alle sue co-star, ottenne un ampio riconoscimento tra gli spettatori televisivi. Il programma gli è valso una nomination agli Emmy del 2002 per l’Outstanding Lead Actor in a Comedy Series, insieme a Matt LeBlanc, ma i due hanno perso contro Ray Romano. Perry è apparso in film come Fools Rush In (accanto al padre John Bennett Perry e Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (accanto a Bruce Willis) e il suo sequel The Whole Ten Yards, e Serving Sara.
Mentre è conosciuto principalmente per i suoi ruoli comici, Perry si è ritagliato una carriera anche nel dramma, in particolare nella sua interpretazione del consigliere associato della Casa Bianca Joe Quincy in The West Wing di Aaron Sorkin. Le sue tre apparizioni in quella serie (due volte nella quarta stagione e una volta nella quinta) gli sono valse due nomination agli Emmy per Outstanding Guest Actor in a Drama Series nel 2003 e nel 2004. Perry è citato nello show prima della sua apparizione come ospite – Donna Moss lo cerca (fuori dallo schermo) nell’episodio “20 Hours in LA”. È apparso anche nel ruolo dell’avvocato Todd Merrick in due episodi verso la fine delle cinque stagioni di Ally McBeal, incluso uno speciale di due ore inteso a far rivivere il comedy-drama legale.
Dopo la fine di Friends, Perry ha fatto il suo debutto alla regia in un episodio della quarta stagione del comedy-drama americano Scrubs, nel quale ha anche recitato come guest star nel ruolo di “Murray Marks”, un operatore della squadra di controllo del traffico di un piccolo aeroporto. A Murray viene chiesto di donare un rene a suo padre Gregory (interpretato dal vero padre di Perry).
Ha recitato nel film della TNT, The Ron Clark Story conosciuto anche come “The Triumph” che ha debuttato il 13 agosto 2006. Perry ha interpretato l’insegnante di provincia Ron Clark che si trasferisce nella classe più dura del paese. Perry ha ricevuto una nomination ai Golden Globe e agli Emmy per la sua interpretazione.
Dal 2006 al 2007, Perry è apparso nel dramma di Aaron Sorkin Studio 60 su Sunset Strip. Perry ha interpretato Matt Albie insieme a Danny Tripp di Bradley Whitford, un duo scrittore-regista portato per aiutare a salvare uno spettacolo di sketch in fallimento. Il personaggio di Perry è stato considerato sostanzialmente basato sulle esperienze personali di Sorkin, in particolare in televisione.
Nel 2006, ha iniziato le riprese di Numb, un film basato su un uomo che soffre di disturbo di depersonalizzazione. La data di uscita provvisoria del film è stata rimandata più volte, ma è stato finalmente rilasciato in DVD il 13 maggio 2008. È apparso anche in Sexual Perversity in Chicago di David Mamet a Londra. Nel 2009, ha recitato nel film 17 Again interpretando il vecchio Mike O’Donnell.
Nel 2008, Perry ha recitato nel film stravagante Birds of America come Morrie Tanager, un uomo teso che ha a che fare con i suoi fratelli. Showtime ha passato su un pilota chiamato The End of Steve, una commedia dark con protagonista, scritta e prodotta da Perry e Peter Tolan.
Il nuovo pilota della commedia di Perry, Mr. Sunshine, basato sull’idea originale di Perry per lo show, è stato acquistato dalla ABC. Perry doveva interpretare un uomo di mezza età con una crisi d’identità. ABC ha cancellato la serie dopo nove episodi.
Il 1 marzo 2012, è stato riferito che Perry aveva firmato per recitare nel pilota NBC commedia Go On, scritto e prodotto da ex Friends scrittore / produttore Scott Silveri. Il progetto è stato scelto per la serie nel maggio 2012. Perry ha interpretato Ryan King, un giornalista sportivo che cerca di andare avanti dopo la morte di sua moglie con l’aiuto di sessioni di terapia obbligatorie. Il pilota è andato in onda l’8 agosto 2012 come “anteprima” dopo le Olimpiadi estive 2012. La serie ha debuttato l’11 settembre 2012. Il 2 ottobre 2012, la NBC ha ordinato una stagione completa di 22 episodi. NBC ha cancellato Go On nel maggio 2013, poco dopo la conclusione della sua prima stagione.
Nel 2012, Perry guest-starred sul dramma CBS The Good Wife, come avvocato Mike Kresteva. Nel 2013, ha ripreso il suo ruolo nella quarta stagione.
Nel 2014, Perry ha fatto il suo debutto televisivo britannico nel programma comico una tantum The Dog Thrower, andato in onda il 1º maggio come parte di Playhouse Presents di Sky Arts. Perry ha interpretato “un uomo carismatico” che incantava gli spettatori lanciando il suo cane in aria. Dal 2015 al 2017, Perry ha recitato, co-scritto e servito come produttore esecutivo di un revival della sitcom The Odd Couple sulla CBS. Perry ha interpretato Oscar Madison di fronte a Thomas Lennon come Felix Unger.
Perry ha interpretato il ruolo principale in una nuova produzione della sua opera The End of Longing, che ha debuttato l’11 febbraio 2016, al Playhouse Theatre di Londra. La commedia si è trasferita Off-Broadway al MCC Theater, che ha aperto il 5 giugno 2017, con Jennifer Morrison.
Nel marzo 2017, Perry ha nuovamente ripreso il suo ruolo di avvocato Mike Kresteva, in The Good Fight, uno show sequel del dramma della CBS The Good Wife.
Più tardi nel 2017, ha interpretato Ted Kennedy nella mini-serie The Kennedys: After Camelot.
Nel 2018, Business Insider ha riportato che il valore netto di Perry si aggira intorno agli 80 milioni di dollari.