När han var 15 år flyttade Perry från Ottawa till Los Angeles för att satsa på skådespeleri och gick på Buckley School i Sherman Oaks, där han tog examen 1987. Han fortsatte med improvisationskomik på LA Connection i Sherman Oaks medan han fortfarande gick i high school.
Han fortsatte med att spela Chazz Russell i tv-serien Second Chance. Efter 13 avsnitt blev Second Chance till Boys Will Be Boys och handlingen fokuserades på Chazz och hans tonårsvänners äventyr. Efter seriens enda säsong stannade Perry kvar i Los Angeles och gjorde sin filmdebut i filmen A Night in the Life of Jimmy Reardon från 1988. År 1989 hade Perry en tre avsnitt lång roll i serien Growing Pains, där han porträtterade Carol Seavers pojkvän ”Sandy” som dör på sjukhuset efter en rattfylleriolycka.
Under sina många fortsatta gästroller på tv fick Perry en ordinarie roll i CBS-sitcomen Sydney från 1990, där han spelade den yngre brodern till Valerie Bertinellis titelkaraktär. År 1991 gjorde han ett gästspel i Beverly Hills, 90210 som Roger Azarian. Perry fick sin nästa TV-roll i ABC-sitcomen Home Free, som bara sändes i 11 avsnitt våren 1993, följt av en sitcom-pilotfilm med titeln LAX 2194.
Han försökte få en audition för pilotavsnittet Six of One, som senare skulle bli känt som Friends, av Marta Kauffman och David Crane, som han båda hade arbetat med i Dream On. På grund av tidigare åtaganden för piloten LAX 2194 blev han dock inte först uttagen till en audition. När han till slut fick en provspelning fick han rollen som Chandler Bing.
Friends blev enormt framgångsrik, och Perry, tillsammans med sina medspelare, fick ett stort erkännande bland tv-tittarna. Programmet gav honom en Emmy-nominering 2002 för Outstanding Lead Actor in a Comedy Series, tillsammans med Matt LeBlanc, men de två förlorade mot Ray Romano. Perry medverkade i filmer som Fools Rush In (tillsammans med sin far John Bennett Perry och Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (tillsammans med Bruce Willis) och dess uppföljare The Whole Ten Yards och Serving Sara.
Men även om Perry främst är känd för sina komiska roller, har han också gjort karriär inom dramatik, framför allt genom sin roll som biträdande rådgivare i Vita huset Joe Quincy i Aaron Sorkins The West Wing. Hans tre framträdanden i den serien (två gånger i den fjärde säsongen och en gång i den femte) gav honom två Emmy-nomineringar för Outstanding Guest Actor in a Drama Series 2003 och 2004. Perry omnämns i serien före sitt gästspel – Donna Moss söker upp honom (utanför bild) i avsnittet ”20 Hours in LA”. Han framträdde också som advokaten Todd Merrick i två avsnitt nära slutet av Ally McBeal’s fem säsonger, inklusive en två timmars special som var avsedd att återuppliva det juridiska komediedramat.
När Friends avslutades gjorde Perry sin regidebut i ett avsnitt av den fjärde säsongen av det amerikanska komediedramat Scrubs, där han också gästade som ”Murray Marks”, en operatör för en liten flygplats trafikledningsgrupp. Murray blir ombedd att donera en njure till sin far Gregory (spelad av Perrys riktiga far).
Han medverkade i TNT-filmen The Ron Clark Story även känd som ”The Triumph” som hade premiär den 13 augusti 2006. Perry spelade småstadsläraren Ron Clark som flyttar till den tuffaste klassen i landet. Perry fick en Golden Globe-nominering samt en Emmy-nominering för sin prestation.
Från 2006 till 2007 medverkade Perry i Aaron Sorkins drama Studio 60 on the Sunset Strip. Perry spelade Matt Albie tillsammans med Bradley Whitfords Danny Tripp, en författar- och regissörsduo som togs in för att hjälpa till att rädda en misslyckad sketchshow. Perrys karaktär ansågs vara väsentligt baserad på Sorkins egna personliga erfarenheter, särskilt inom televisionen.
2006 påbörjade han inspelningen av Numb, en film baserad på en man som lider av depersonaliseringsstörning. Filmens preliminära premiärdatum sköts upp flera gånger, men släpptes slutligen på DVD den 13 maj 2008. Han medverkade även i David Mamets Sexual Perversity in Chicago i London. År 2009 medverkade han i filmen 17 Again där han spelade den äldre Mike O’Donnell.
År 2008 medverkade Perry i den udda filmen Birds of America som Morrie Tanager, en spänd man som måste ta itu med sina syskon. Showtime gick förbi en pilotfilm kallad The End of Steve, en mörk komedi med Perry och Peter Tolan i huvudrollen, skriven och producerad av Perry och Peter Tolan.
Perrys nya komedipilotfilm, Mr Sunshine, baserad på Perrys ursprungliga idé för serien, köptes av ABC. Perry skulle gestalta en medelålders man med en identitetskris. ABC ställde in serien efter nio avsnitt.
Den 1 mars 2012 rapporterades det att Perry hade skrivit på för att spela huvudrollen i NBC:s komedipilotserie Go On, skriven och producerad av den tidigare Friends-författaren/producenten Scott Silveri. Projektet plockades upp till serie i maj 2012. Perry porträtterade Ryan King, en sportjournalist som försöker gå vidare efter sin frus död med hjälp av obligatoriska terapisessioner. Pilotavsnittet sändes den 8 augusti 2012 som en ”sneak preview” efter de olympiska sommarspelen 2012. Serien hade premiär den 11 september 2012. Den 2 oktober 2012 beställde NBC en hel säsong med 22 avsnitt. NBC ställde in Go On i maj 2013, kort efter att den första säsongen avslutats.
Under 2012 gästspelade Perry i CBS-dramat The Good Wife, som advokaten Mike Kresteva. År 2013 återupptog han sin roll i den fjärde säsongen.
2014 gjorde Perry sin brittiska tv-debut i det unika komediprogrammet The Dog Thrower, som sändes den 1 maj som en del av Sky Arts’ Playhouse Presents. Perry porträtterade ”en karismatisk man” som förtrollade åskådarna genom att kasta sin hund i luften. Mellan 2015 och 2017 spelade Perry huvudrollen i, var med och skrev och fungerade som exekutiv producent för en återupplivning av sitcomen The Odd Couple på CBS. Perry spelade Oscar Madison mittemot Thomas Lennon som Felix Unger.
Perry spelade huvudrollen i en nyproduktion av hans pjäs The End of Longing, som hade premiär den 11 februari 2016 på Playhouse Theatre i London. Pjäsen överfördes Off-Broadway till MCC Theater, som hade premiär den 5 juni 2017, med Jennifer Morrison.
I mars 2017 återupptog Perry återigen sin roll som advokaten Mike Kresteva, i The Good Fight, en uppföljningsserie till CBS-dramat The Good Wife.
Senare under 2017 spelade han huvudrollen som Ted Kennedy i miniserien The Kennedys: After Camelot.
Under 2018 rapporterade Business Insider att Perrys nettoförmögenhet var cirka 80 miljoner dollar.