Toen hij 15 was verhuisde Perry van Ottawa naar Los Angeles om zich op het acteren te richten. Hij ging naar The Buckley School in Sherman Oaks, waar hij in 1987 afstudeerde. Toen hij nog op de middelbare school zat, ging hij improvisatiecomedy studeren bij de LA Connection in Sherman Oaks.
Hij ging Chazz Russell spelen in de tv-serie Second Chance. Na 13 afleveringen, werd Second Chance Boys Will Be Boys, met de plots opnieuw gericht op de avonturen van Chazz en zijn tiener vrienden. Na het enige seizoen van de serie bleef Perry in Los Angeles en maakte hij zijn filmdebuut in de film A Night in the Life of Jimmy Reardon uit 1988. In 1989 had Perry een arc van drie afleveringen in de serie Growing Pains, waarin hij Carol Seaver’s vriend ‘Sandy’ portretteerde, die in het ziekenhuis sterft na een ongeluk onder invloed.
Tussen zijn vele voortdurende gastrollen op tv, werd Perry gecast als vaste gast in de CBS-sitcom Sydney van 1990, waarin hij de jongere broer van het titelpersonage van Valerie Bertinelli speelde. In 1991 maakte hij een gastoptreden in Beverly Hills, 90210 als Roger Azarian. Perry landde zijn volgende TV hoofdrol in de ABC sitcom Home Free, die slechts 11 afleveringen uitzond in de lente van 1993, gevolgd door een sitcom pilot getiteld LAX 2194.
Hij probeerde een auditie te krijgen voor de pilot Six of One, die later bekend zou worden als Friends, van Marta Kauffman en David Crane, met wie hij beiden had gewerkt aan Dream On. Door eerdere verplichtingen voor de pilot LAX 2194 kwam hij echter aanvankelijk niet in aanmerking voor een auditie. Toen hij uiteindelijk toch een auditie kreeg, kreeg hij de rol van Chandler Bing.
Friends was een groot succes en Perry kreeg, samen met zijn medeacteurs, grote bekendheid onder de televisiekijkers. Het programma leverde hem in 2002 een Emmy-nominatie op voor Outstanding Lead Actor in a Comedy Series, samen met Matt LeBlanc, maar de twee verloren van Ray Romano. Perry speelde in films als Fools Rush In (met vader John Bennett Perry en Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (met Bruce Willis) en het vervolg The Whole Ten Yards, en Serving Sara.
Hoewel Perry vooral bekend is voor zijn komische rollen, heeft hij ook een carrière opgebouwd in drama, met name in zijn vertolking van Associate White House Counsel Joe Quincy in Aaron Sorkin’s The West Wing. Zijn drie optredens in die serie (twee keer in het vierde seizoen en een keer in het vijfde) leverden hem twee Emmy-nominaties op voor Outstanding Guest Actor in a Drama Series in 2003 en 2004. Perry wordt in de serie al genoemd voor zijn gastrol – Donna Moss zoekt hem (off screen) op in de aflevering “20 Hours in LA”. Hij verscheen ook als advocaat Todd Merrick in twee afleveringen tegen het einde van de vijf seizoenen durende run van Ally McBeal, waaronder een 2-uur durende special bedoeld om het juridische komedie-drama nieuw leven in te blazen.
Nadat Friends was uitgepakt, maakte Perry zijn regiedebuut in een aflevering van het 4e seizoen van het Amerikaanse komedie-drama Scrubs, waarin hij ook te gast was als “Murray Marks”, een operator van het verkeersleidingsteam van een kleine luchthaven. Murray wordt gevraagd een nier af te staan aan zijn vader Gregory (gespeeld door Perry’s echte vader).
Hij speelde een hoofdrol in de TNT-film, The Ron Clark Story ook bekend als “The Triumph” die op 13 augustus 2006 in première ging. Perry speelde leraar Ron Clark uit een kleine stad die verhuist naar de zwaarste klas van het land. Perry kreeg een Golden Globe nominatie en een Emmy nominatie voor zijn optreden.
Van 2006 tot 2007 was Perry te zien in Aaron Sorkin’s drama Studio 60 on the Sunset Strip. Perry speelde Matt Albie naast Bradley Whitford’s Danny Tripp, een schrijver-regisseur duo binnengehaald om te helpen een falende sketch show te redden. Perry’s personage werd beschouwd als substantieel gebaseerd op Sorkin’s eigen persoonlijke ervaringen, met name bij televisie.
In 2006 begon hij met de opnames van Numb, een film gebaseerd op een man die lijdt aan depersonalisatiestoornis. De voorlopige releasedatum van de film werd verschillende keren uitgesteld, maar werd uiteindelijk op 13 mei 2008 op DVD uitgebracht. Hij was ook te zien in David Mamet’s Sexual Perversity in Chicago in Londen. In 2009 speelde hij in de film 17 Again als de oudere Mike O’Donnell.
In 2008 speelde Perry in de eigenzinnige film Birds of America als Morrie Tanager, een gespannen man die moet omgaan met zijn broers en zussen. Showtime passeerde een pilot genaamd The End of Steve, een donkere komedie met in de hoofdrol, geschreven en geproduceerd door Perry en Peter Tolan.
Perry’s nieuwe komedie pilot, Mr. Sunshine, gebaseerd op Perry’s oorspronkelijke idee voor de show, werd gekocht door ABC. Perry zou een man van middelbare leeftijd met een identiteitscrisis portretteren. ABC annuleerde de serie na negen afleveringen.
Op 1 maart 2012 werd gemeld dat Perry had getekend voor de NBC comedy pilot Go On, geschreven en geproduceerd door voormalig Friends schrijver/producent Scott Silveri. Het project werd in mei 2012 opgenomen in de serie. Perry speelde de rol van Ryan King, een sportverslaggever die na de dood van zijn vrouw probeert verder te gaan met behulp van verplichte therapiesessies. De pilot werd uitgezonden op 8 augustus 2012 als een “sneak preview” na de Olympische Zomerspelen van 2012. De serie ging in première op 11 september 2012. Op 2 oktober 2012 bestelde NBC een volledig seizoen van 22 afleveringen. NBC annuleerde Go On in mei 2013, kort na het einde van het eerste seizoen.
In 2012, Perry gast-starred op de CBS drama The Good Wife, als advocaat Mike Kresteva. In 2013 herhaalde hij zijn rol in het vierde seizoen.
In 2014 maakte Perry zijn Britse tv-debuut in het eenmalige komedieprogramma The Dog Thrower, dat op 1 mei werd uitgezonden als onderdeel van Sky Arts’ Playhouse Presents. Perry portretteerde “een charismatische man” die toeschouwers betoverde door zijn hond in de lucht te gooien. Van 2015 tot 2017 speelde Perry de hoofdrol in, schreef hij mee aan en was hij uitvoerend producent van een revival van de sitcom The Odd Couple op CBS. Perry speelde Oscar Madison tegenover Thomas Lennon als Felix Unger.
Perry speelde de hoofdrol in een nieuwe productie van zijn toneelstuk The End of Longing, dat op 11 februari 2016 in première ging in het Playhouse Theatre in Londen. Het stuk werd Off-Broadway overgebracht naar het MCC Theater, dat op 5 juni 2017 opende, met Jennifer Morrison.
In maart 2017 hernam Perry opnieuw zijn rol als advocaat Mike Kresteva, in The Good Fight, een vervolgshow op het CBS-drama The Good Wife.
Later in 2017 speelde hij de hoofdrol als Ted Kennedy in de miniserie The Kennedys: After Camelot.
In 2018 meldde Business Insider dat Perry’s nettowaarde rond de $ 80 miljoen ligt.