Da han var 15 år gammel, flyttede Perry fra Ottawa til Los Angeles for at blive skuespiller og gik på The Buckley School i Sherman Oaks, hvor han tog sin eksamen i 1987. Han begyndte at spille improkomedie på LA Connection i Sherman Oaks, mens han stadig gik i gymnasiet.
Han fortsatte med at spille Chazz Russell i tv-serien Second Chance. Efter 13 afsnit blev Second Chance omdannet til Boys Will Be Boys, hvor handlingen igen var fokuseret på Chazz og hans teenagevenners eventyr. Efter seriens eneste sæson blev Perry i Los Angeles og fik sin filmdebut i 1988 i filmen A Night in the Life of Jimmy Reardon. I 1989 havde Perry en tre episoder lang rolle i serien Growing Pains, hvor han spillede Carol Seavers kæreste ‘Sandy’, der dør på hospitalet efter en spritbilistulykke.
Mellem sine mange fortsatte gæstroller på tv blev Perry i 1990 castet som fastansat i CBS-sitcom’en Sydney, hvor han spillede den yngre bror til Valerie Bertinellis titelperson. I 1991 havde han en gæsteoptræden i Beverly Hills, 90210 som Roger Azarian. Perry fik sin næste hovedrolle på tv i ABC-sitcomen Home Free, som kun blev sendt i 11 afsnit i foråret 1993, efterfulgt af en sitcom-pilot med titlen LAX 2194.
Han forsøgte at sikre sig en audition til pilotfilmen Six of One, som senere blev kendt som Friends, af Marta Kauffman og David Crane, som han begge havde arbejdet sammen med i Dream On. På grund af tidligere forpligtelser i forbindelse med pilotfilmen LAX 2194 blev han dog i første omgang ikke taget i betragtning til en audition. Da han til sidst fik en prøveoptagelse, fik han rollen som Chandler Bing.
Friends blev en enorm succes, og Perry fik sammen med sine medspillere stor anerkendelse blandt tv-seerne. Programmet indbragte ham en Emmy-nominering i 2002 for Outstanding Lead Actor in a Comedy Series, sammen med Matt LeBlanc, men de to tabte til Ray Romano. Perry medvirkede i film som Fools Rush In (sammen med sin far John Bennett Perry og Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (sammen med Bruce Willis) og dens efterfølger The Whole Ten Yards og Serving Sara.
Mens Perry primært er kendt for sine komiske roller, har han også skabt sig en karriere inden for dramatik, især i sin portrættering af den assisterende rådgiver i Det Hvide Hus Joe Quincy i Aaron Sorkins The West Wing. Hans tre optrædener i denne serie (to gange i fjerde sæson og en gang i femte sæson) indbragte ham to Emmy-nomineringer for Outstanding Guest Actor in a Drama Series i 2003 og 2004. Perry er omtalt i serien før hans gæsteoptræden – Donna Moss opsøger ham (uden for skærmen) i afsnittet “20 Hours in LA”. Han optrådte også som advokat Todd Merrick i to episoder nær slutningen af Ally McBeal’s fem sæsoner, herunder en 2-timers special, der havde til formål at genoplive det juridiske komediedrama.
Når Friends sluttede, debuterede Perry som instruktør i et afsnit af fjerde sæson af det amerikanske komediedrama Scrubs, hvor han også havde en gæstespillerrolle som “Murray Marks”, en operatør af en lille lufthavns trafikkontrolhold. Murray bliver bedt om at donere en nyre til sin far Gregory (spillet af Perrys rigtige far).
Han medvirkede i TNT-filmen, The Ron Clark Story også kendt som “The Triumph”, der havde premiere den 13. august 2006. Perry spillede lærer Ron Clark fra en lille by, som flytter til den hårdeste klasse i landet. Perry modtog en Golden Globe-nominering samt en Emmy-nominering for sin præstation.
Fra 2006 til 2007 medvirkede Perry i Aaron Sorkins drama Studio 60 on the Sunset Strip. Perry spillede Matt Albie sammen med Bradley Whitfords Danny Tripp, en duo af forfattere og instruktører, der blev hentet ind for at hjælpe med at redde et fallerende sketchshow. Perrys karakter blev anset for at være væsentligt baseret på Sorkins egne personlige erfaringer, især inden for tv.
I 2006 begyndte han at optage filmen Numb, en film baseret på en mand, der lider af depersonaliseringsforstyrrelse. Filmens foreløbige udgivelsesdato blev skubbet flere gange, men blev endelig udgivet på dvd den 13. maj 2008. Han medvirkede også i David Mamets Sexual Perversity in Chicago i London. I 2009 medvirkede han i filmen 17 Again, hvor han spillede den ældre Mike O’Donnell.
I 2008 medvirkede Perry i den skæve film Birds of America som Morrie Tanager, en anspændt mand, der skal håndtere sine søskende. Showtime afviste et pilotprojekt ved navn The End of Steve, en mørk komedie med Perry og Peter Tolan i hovedrollen, skrevet og produceret af Perry og Peter Tolan.
Perrys nye komediepilotprojekt, Mr. Sunshine, baseret på Perrys oprindelige idé til serien, blev købt af ABC. Perry skulle portrættere en midaldrende mand med en identitetskrise. ABC aflyste serien efter ni afsnit.
Den 1. marts 2012 blev det rapporteret, at Perry havde skrevet under på at spille hovedrollen i NBC’s komediepilotserie Go On, skrevet og produceret af den tidligere Friends-forfatter/producent Scott Silveri. Projektet blev taget op til serieproduktion i maj 2012. Perry portrætterede Ryan King, en sportsvært, der forsøger at komme videre efter sin kones død ved hjælp af obligatoriske terapisessioner. Pilotfilmen blev sendt den 8. august 2012 som en “sneak preview” efter de olympiske sommerlege i 2012. Serien havde premiere den 11. september 2012. Den 2. oktober 2012 bestilte NBC en hel sæson på 22 episoder. NBC aflyste Go On i maj 2013, kort efter afslutningen af dens første sæson.
I 2012 gæste medvirkede Perry i CBS-dramaet The Good Wife som advokaten Mike Kresteva. I 2013 gentog han sin rolle i fjerde sæson.
I 2014 fik Perry sin britiske tv-debut i det engangs komedieprogram The Dog Thrower, som blev sendt den 1. maj som en del af Sky Arts’ Playhouse Presents. Perry portrætterede “en karismatisk mand”, der fortryllede tilskuere ved at kaste sin hund i luften. Fra 2015 til 2017 spillede Perry hovedrollen i, var medforfatter og fungerede som executive producer på en genoplivning af sitcom’en The Odd Couple på CBS. Perry spillede Oscar Madison over for Thomas Lennon som Felix Unger.
Perry spillede hovedrollen i en nyopsætning af hans stykke The End of Longing, som havde premiere den 11. februar 2016 på Playhouse Theatre i London. Stykket blev overført Off-Broadway til MCC Theater, som havde premiere den 5. juni 2017 med Jennifer Morrison.
I marts 2017 gentog Perry igen sin rolle som advokaten Mike Kresteva i The Good Fight, en fortsættelsesserie til CBS-dramaet The Good Wife.
Sidst i 2017 spillede han rollen som Ted Kennedy i miniserien The Kennedys: After Camelot.
I 2018 rapporterede Business Insider, at Perrys nettoformue var på omkring 80 millioner dollars.