Když mu bylo 15 let, přestěhoval se Perry z Ottawy do Los Angeles, aby se věnoval herectví, a navštěvoval školu The Buckley School v Sherman Oaks, kterou dokončil v roce 1987. Ještě na střední škole se věnoval improvizační komedii v LA Connection v Sherman Oaks.
Pokračoval v roli Chazze Russella v televizním seriálu Druhá šance. Po třinácti epizodách se z Druhé šance stal seriál Boys Will Be Boys, jehož zápletka se nově zaměřila na dobrodružství Chazze a jeho dospívajících přátel. Po skončení jediné sezóny seriálu Perry zůstal v Los Angeles a na filmovém plátně debutoval v roce 1988 ve filmu A Night in the Life of Jimmy Reardon. V roce 1989 se Perry objevil ve třech epizodách seriálu Growing Pains, kde ztvárnil přítele Carol Seaverové „Sandyho“, který umírá v nemocnici po nehodě pod vlivem alkoholu.
Mezi mnoha pokračujícími hostujícími rolemi v televizi byl Perry v roce 1990 obsazen do stálé role v sitcomu CBS Sydney, kde hrál mladšího bratra titulní postavy Valerie Bertinelliové. V roce 1991 hostoval v seriálu Beverly Hills, 90210 jako Roger Azarian. Další hlavní televizní roli Perry získal v sitcomu stanice ABC Home Free, který se vysílal pouze v 11 epizodách na jaře 1993, následoval pilotní díl sitcomu s názvem LAX 2194.
Pokusil se získat konkurz na pilotní film Six of One, později známý jako Friends, Marty Kauffmanové a Davida Cranea, s nimiž spolupracoval na seriálu Dream On. Kvůli předchozím závazkům k pilotu LAX 2194 však zpočátku nebyl do konkurzu zařazen. Když se nakonec na čtení dostal, získal roli Chandlera Binga.
Přátelé byli velmi úspěšní a Perry spolu se svými hereckými kolegy získal široké uznání televizních diváků. Pořad mu v roce 2002 vynesl nominaci na cenu Emmy za vynikajícího herce v hlavní roli v komediálním seriálu spolu s Mattem LeBlancem, ale oba prohráli s Rayem Romanem. Perry se objevil ve filmech jako Fools Rush In (po boku otce Johna Bennetta Perryho a Salmy Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (po boku Bruce Willise) a jeho pokračování The Whole Ten Yards a Serving Sara.
Přestože je Perry známý především díky svým komediálním rolím, vydobyl si kariéru i v dramatu, zejména v roli zástupce poradce Bílého domu Joea Quincyho v seriálu Aarona Sorkina The West Wing. Jeho tři účinkování v tomto seriálu (dvakrát ve čtvrté sérii a jednou v páté) mu vynesla dvě nominace na cenu Emmy za vynikajícího hostujícího herce v dramatickém seriálu v letech 2003 a 2004. Perry je v seriálu zmiňován ještě před svým hostováním – Donna Mossová ho vyhledá (mimo obrazovku) v epizodě „20 hodin v LA“. Objevil se také jako právník Todd Merrick ve dvou epizodách ke konci pěti sezón seriálu Ally McBealová, včetně dvouhodinového speciálu, který měl toto právnické komediální drama oživit.
Po skončení seriálu Přátelé debutoval Perry jako režisér v epizodě 4. série amerického komediálního dramatu Scrubs, v níž rovněž hostoval jako „Murray Marks“, operátor týmu řízení provozu na malém letišti. Murray je požádán, aby daroval ledvinu svému otci Gregorymu (hraje ho Perryho skutečný otec).
Zaujal ve filmu TNT The Ron Clark Story známém také jako „Triumf“, který měl premiéru 13. srpna 2006. Perry hrál maloměstského učitele Rona Clarka, který se přestěhuje do nejtěžší třídy v zemi. Perry za svůj výkon získal nominaci na Zlatý glóbus a také nominaci na cenu Emmy.
V letech 2006 až 2007 se Perry objevil v dramatu Aarona Sorkina Studio 60 na Sunset Stripu. Perry hrál Matta Albieho po boku Dannyho Trippa v podání Bradleyho Whitforda, duo scenáristů a režisérů, kteří byli přivedeni, aby pomohli zachránit upadající skečovou show. Perryho postava byla považována za do značné míry založenou na Sorkinových osobních zkušenostech, zejména v televizi.
V roce 2006 začal natáčet film Numb, založený na příběhu muže trpícího depersonalizační poruchou. Předběžné datum premiéry filmu bylo několikrát posunuto, ale nakonec byl 13. května 2008 vydán na DVD. Objevil se také ve filmu Davida Mameta Sexuální zvrácenost v Chicagu v Londýně. V roce 2009 si zahrál ve filmu Znovu 17 v roli staršího Mikea O’Donnella.
V roce 2008 si Perry zahrál v netradičním filmu Ptáci Ameriky roli Morrieho Tanagera, upjatého muže, který se musí vypořádat se svými sourozenci. Televizní stanice Showtime předala pilotní film s názvem The End of Steve, černou komedii, v níž hráli, napsali a produkovali Perry a Peter Tolan.
Perryho nový komediální pilotní film Pan Sunshine, založený na Perryho původním nápadu na seriál, koupila stanice ABC. Perry měl ztvárnit muže středního věku s krizí identity. ABC seriál po devíti epizodách zrušila.
Dne 1. března 2012 bylo oznámeno, že Perry podepsal smlouvu na účinkování v pilotním díle komedie Go On stanice NBC, který napsal a produkoval bývalý scenárista a producent seriálu Přátelé Scott Silveri. Projekt byl v květnu 2012 převzat do seriálové verze. Perry ztvárnil Ryana Kinga, sportovního komentátora, který se po smrti své ženy snaží žít dál za pomoci povinných terapeutických sezení. Pilotní díl byl odvysílán 8. srpna 2012 jako „sneak preview“ po letních olympijských hrách 2012. Seriál měl premiéru 11. září 2012. Dne 2. října 2012 si NBC objednala celou sezónu o 22 epizodách. V květnu 2013, krátce po skončení první série, NBC seriál Go On zrušila.
V roce 2012 Perry hostoval v seriálu CBS Dobrá manželka v roli právníka Mikea Kresteva. V roce 2013 si svou roli zopakoval ve čtvrté sérii.
V roce 2014 Perry debutoval v britské televizi v jednorázovém komediálním pořadu The Dog Thrower, který se vysílal 1. května v rámci programu Playhouse Presents společnosti Sky Arts. Perry ztvárnil „charismatického muže“, který okouzloval přihlížející tím, že vyhazoval svého psa do vzduchu. V letech 2015 až 2017 Perry hrál v obnoveném sitcomu The Odd Couple na stanici CBS, byl jeho spoluautorem a výkonným producentem. Perry hrál Oscara Madisona po boku Thomase Lennona jako Felixe Ungera.
Perry hrál hlavní roli v nové inscenaci své hry The End of Longing, která měla premiéru 11. února 2016 v londýnském Playhouse Theatre. Hra byla přenesena mimo Broadway do MCC Theater, kde měla premiéru 5. června 2017 s Jennifer Morrisonovou.
V březnu 2017 si Perry opět zopakoval roli advokáta Mikea Kresteva v seriálu The Good Fight, který je pokračováním dramatu CBS The Good Wife.
Později v roce 2017 si zahrál Teda Kennedyho v minisérii The Kennedys: Po Camelotu.
V roce 2018 server Business Insider uvedl, že Perryho čisté jmění se pohybuje kolem 80 milionů dolarů.