Când avea 15 ani, Perry s-a mutat din Ottawa în Los Angeles pentru a urma cursuri de actorie și a urmat cursurile Școlii Buckley din Sherman Oaks, absolvind în 1987. A urmărit comedia de improvizație la LA Connection din Sherman Oaks în timp ce era încă în liceu.
A continuat să joace rolul lui Chazz Russell în serialul TV Second Chance. După 13 episoade, Second Chance a devenit Boys Will Be Boys (Băieții vor fi băieți), cu intrigi reorientate pe aventurile lui Chazz și ale prietenilor săi adolescenți. După încheierea singurului sezon al serialului, Perry a rămas în Los Angeles și și-a făcut debutul pe ecran în filmul A Night in the Life of Jimmy Reardon din 1988. În 1989, Perry a avut un arc de trei episoade în serialul Growing Pains, în care l-a interpretat pe prietenul lui Carol Seaver, „Sandy”, care moare în spital după un accident de conducere în stare de ebrietate.
În mijlocul numeroaselor sale roluri de invitat care continuă la televiziune, Perry a fost distribuit ca titular în 1990 în serialul CBS Sydney, jucând rolul fratelui mai mic al personajului principal al lui Valerie Bertinelli. În 1991, a avut o apariție ca invitat în Beverly Hills, 90210 în rolul lui Roger Azarian. Perry a obținut următorul său rol principal la televiziune în sitcomul ABC Home Free, care a difuzat doar 11 episoade în primăvara anului 1993, urmat de un pilot de sitcom intitulat LAX 2194.
A încercat să obțină o audiție pentru episodul pilot Six of One, care mai târziu va fi cunoscut sub numele de Friends, de la Marta Kauffman și David Crane, cu care lucrase în Dream On. Cu toate acestea, din cauza unor angajamente anterioare pentru pilotul LAX 2194, nu a fost inițial luat în considerare pentru o audiție. Când, în cele din urmă, a obținut o audiție, a obținut rolul lui Chandler Bing.
Friends a avut un succes enorm, iar Perry, împreună cu colegii săi de scenă, a obținut o largă recunoaștere în rândul telespectatorilor. Programul i-a adus o nominalizare la premiul Emmy în 2002 pentru Cel mai bun actor principal într-un serial de comedie, alături de Matt LeBlanc, dar cei doi au pierdut în fața lui Ray Romano. Perry a apărut în filme precum Fools Rush In (alături de tatăl său, John Bennett Perry și Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (alături de Bruce Willis) și continuarea acestuia, The Whole Ten Yards, și Serving Sara.
Deși este cunoscut în primul rând pentru rolurile sale comice, Perry și-a croit o carieră și în dramă, în special în interpretarea lui Joe Quincy, consilier asociat la Casa Albă, în serialul The West Wing al lui Aaron Sorkin. Cele trei apariții ale sale în acest serial (de două ori în cel de-al patrulea sezon și o dată în cel de-al cincilea) i-au adus două nominalizări la premiile Emmy pentru cel mai bun actor invitat într-un serial dramatic în 2003 și 2004. Perry este menționat în serial înainte de apariția sa ca invitat – Donna Moss îl caută (în afara ecranului) în episodul „20 Hours in LA”. El a apărut, de asemenea, în rolul avocatului Todd Merrick în două episoade aproape de finalul celor cinci sezoane ale serialului Ally McBeal, inclusiv într-o emisiune specială de 2 ore menită să reînvie comedia-dramă juridică.
După încheierea serialului Friends, Perry și-a făcut debutul ca regizor într-un episod din sezonul 4 al comediei-dramă americane Scrubs, în care a jucat, de asemenea, ca invitat în rolul lui „Murray Marks”, un operator al echipei de control al traficului de pe un mic aeroport. Lui Murray i se cere să doneze un rinichi tatălui său Gregory (interpretat de tatăl real al lui Perry).
A jucat în filmul TNT, The Ron Clark Story, cunoscut și sub numele de „The Triumph”, care a avut premiera la 13 august 2006. Perry l-a interpretat pe profesorul de oraș mic Ron Clark care se mută la cea mai dură clasă din țară. Perry a primit o nominalizare la Globul de Aur, precum și o nominalizare la Emmy pentru interpretarea sa.
Din 2006 până în 2007, Perry a apărut în drama lui Aaron Sorkin, Studio 60 on the Sunset Strip. Perry l-a interpretat pe Matt Albie alături de Danny Tripp al lui Bradley Whitford, un duo de scenarist și regizor adus pentru a ajuta la salvarea unei emisiuni de sketch-uri aflate în dificultate. Personajul lui Perry a fost considerat ca fiind bazat substanțial pe experiențele personale ale lui Sorkin, în special în televiziune.
În 2006, a început să filmeze Numb, un film bazat pe un bărbat care suferă de tulburare de depersonalizare. Data tentativă de lansare a filmului a fost amânată de mai multe ori, dar în cele din urmă a fost lansat pe DVD la 13 mai 2008. A apărut, de asemenea, în filmul lui David Mamet, Sexual Perversity in Chicago, la Londra. În 2009, a jucat în filmul 17 Again, interpretându-l pe Mike O’Donnell, mai în vârstă.
În 2008, Perry a jucat în filmul neobișnuit Birds of America în rolul lui Morrie Tanager, un bărbat crispat care trebuie să aibă de-a face cu frații săi. Showtime a refuzat un episod pilot numit The End of Steve, o comedie întunecată în care joacă, scrisă și produsă de Perry și Peter Tolan.
Noul episod pilot de comedie al lui Perry, Mr. Sunshine, bazat pe ideea originală a lui Perry pentru serial, a fost cumpărat de ABC. Perry urma să interpreteze rolul unui bărbat de vârstă mijlocie cu o criză de identitate. ABC a anulat serialul după nouă episoade.
La 1 martie 2012, s-a raportat că Perry a semnat pentru a juca în episodul pilot de comedie Go On de la NBC, scris și produs de fostul scenarist/producător al serialului Friends, Scott Silveri. Proiectul a fost preluat pentru serial în mai 2012. Perry l-a interpretat pe Ryan King, un comentator sportiv care încearcă să meargă mai departe după moartea soției sale cu ajutorul unor ședințe obligatorii de terapie. Episodul pilot a fost difuzat pe 8 august 2012 ca o „avanpremieră” după Jocurile Olimpice de vară din 2012. Serialul a avut premiera pe 11 septembrie 2012. La 2 octombrie 2012, NBC a comandat un sezon complet de 22 de episoade. NBC a anulat Go On în mai 2013, la scurt timp după încheierea primului sezon.
În 2012, Perry a jucat ca invitat în serialul CBS The Good Wife, în rolul avocatului Mike Kresteva. În 2013, și-a reluat rolul în cel de-al patrulea sezon.
În 2014, Perry și-a făcut debutul la televiziunea britanică în programul unic de comedie The Dog Thrower, difuzat pe 1 mai, ca parte a emisiunii Playhouse Presents de la Sky Arts. Perry a portretizat „un bărbat carismatic” care i-a fermecat pe spectatori aruncându-și câinele în aer. Între 2015 și 2017, Perry a jucat, a co-scris și a fost producător executiv al unei reluări a sitcomului The Odd Couple pe CBS. Perry l-a interpretat pe Oscar Madison alături de Thomas Lennon în rolul lui Felix Unger.
Perry a jucat rolul principal într-o nouă producție a piesei sale The End of Longing, care a avut premiera pe 11 februarie 2016, la Playhouse Theatre din Londra. Piesa s-a transferat Off-Broadway la MCC Theater, care a avut premiera pe 5 iunie 2017, cu Jennifer Morrison.
În martie 2017, Perry și-a reluat din nou rolul avocatului Mike Kresteva, în The Good Fight, o continuare a dramei CBS The Good Wife.
Mai târziu, în 2017, a jucat rolul lui Ted Kennedy în miniseria The Kennedys: After Camelot.
În 2018, Business Insider a raportat că valoarea netă a lui Perry este de aproximativ 80 de milioane de dolari.
.