Amikor 15 éves volt, Perry Ottawából Los Angelesbe költözött, hogy színészettel foglalkozzon, és a Sherman Oaks-i The Buckley Schoolba járt, ahol 1987-ben végzett. Még középiskolás korában improvizációs komédiával foglalkozott a Sherman Oaks-i LA Connectionben.
Majd Chazz Russell szerepét játszotta a Második esély című tévésorozatban. 13 epizód után a Second Chance-ből Boys Will Be Boys lett, és a cselekmény Chazz és tinédzser barátai kalandjaira koncentrált. A sorozat egyetlen évada után Perry Los Angelesben maradt, és az 1988-as Egy éjszaka Jimmy Reardon életében című filmben debütált a vásznon. 1989-ben Perrynek volt egy három epizódos szerepe a Growing Pains című sorozatban, amelyben Carol Seaver barátját, “Sandy”-t alakította, aki egy ittasan okozott baleset után meghal a kórházban.
A sok folyamatos tévés vendégszereplése közepette Perry állandó szereplője lett a CBS 1990-es Sydney című sitcomjának, amelyben Valerie Bertinelli címszereplőjének öccsét alakította. 1991-ben vendégszerepelt a Beverly Hills, 90210-ben Roger Azarian szerepében. Perry a következő tévés főszerepét az ABC Home Free című szitkomjában kapta, amely 1993 tavaszán mindössze 11 epizódot sugárzott, majd ezt követte az LAX 2194 című szitkom pilotja.
Megpróbált meghallgatást szerezni Marta Kauffman és David Crane által a Six of One című pilothoz, amely később Friends néven vált ismertté, akikkel már dolgozott együtt a Dream On-ban. Az LAX 2194 című pilótafilmmel kapcsolatos korábbi elfoglaltságai miatt azonban kezdetben nem vették figyelembe a meghallgatáson. Amikor végül mégis kapott egy olvasópróbát, megkapta Chandler Bing szerepét.
A Barátok közt hatalmas sikert aratott, és Perry a társszereplőivel együtt széles körű elismerést szerzett a tévénézők körében. A műsor 2002-ben Emmy-jelölést hozott neki egy vígjátéksorozat kiemelkedő főszereplője kategóriában, Matt LeBlanc-kal együtt, de ők ketten Ray Romanóval szemben alulmaradtak. Perry olyan filmekben szerepelt, mint a Fools Rush In (apja, John Bennett Perry és Salma Hayek mellett), az Almost Heroes, a Three to Tango, a The Whole Nine Yards (Bruce Willis mellett) és annak folytatása, a The Whole Ten Yards, valamint a Serving Sara.
Míg elsősorban komikus szerepeiről ismert, Perry a drámákban is karriert futott be, különösen Aaron Sorkin The West Wing című sorozatában Joe Quincy, a Fehér Ház helyettes tanácsosának megformálásában. A sorozatban való három szereplése (kétszer a negyedik évadban, egyszer pedig az ötödikben) két Emmy-jelölést hozott neki a “Kiváló vendégszereplő drámai sorozatban” kategóriában 2003-ban és 2004-ben. Perryre már a vendégszereplése előtt is hivatkoznak a sorozatban – Donna Moss keresi fel (a képernyőn kívül) a “20 óra Los Angelesben” című epizódban. Az Ally McBeal öt évadának vége felé két epizódban is feltűnt Todd Merrick ügyvédként, köztük egy kétórás különkiadásban, amely a jogi vígjáték-dráma újjáélesztését volt hivatott szolgálni.
A Friends befejezése után Perry rendezőként debütált a Scrubs című amerikai vígjáték-dráma 4. évadának egyik epizódjában, amelyben szintén vendégszerepelt, mint “Murray Marks”, egy kis repülőtér forgalomirányító csapatának üzemeltetője. Murray-t arra kérik, hogy adományozzon vesét apjának, Gregory-nak (akit Perry valódi apja alakít).
Szerepelt a TNT 2006. augusztus 13-án bemutatott, The Ron Clark Story, más néven “The Triumph” című filmjében. Perry játszotta a kisvárosi tanár Ron Clarkot, aki az ország legkeményebb osztályába költözik. Perry Golden Globe-jelölést, valamint Emmy-jelölést kapott az alakításáért.
2006-tól 2007-ig Perry szerepelt Aaron Sorkin Studio 60 on the Sunset Strip című drámájában. Perry Matt Albie-t játszotta Bradley Whitford Danny Trippje mellett, egy író-rendező duót, akiket azért hoztak be, hogy segítsenek megmenteni egy bukott szkeccsműsort. Perry karakteréről úgy tartották, hogy lényegében Sorkin saját személyes tapasztalatain alapul, különösen a televíziózás terén.
2006-ban kezdte el forgatni a Numb című filmet, amely egy deperszonalizációs zavarban szenvedő férfiról szól. A film előzetes megjelenési dátumát többször is eltolták, de végül 2008. május 13-án jelent meg DVD-n. David Mamet Szexuális perverzió Chicagóban című filmjében is szerepelt Londonban. 2009-ben szerepelt a 17 Again című filmben, ahol az idősebb Mike O’Donnellt alakította.
2008-ban Perry szerepelt az Amerika madarai című rendhagyó filmben, mint Morrie Tanager, egy feszült férfi, akinek meg kell küzdenie a testvéreivel. A Showtime átadta a The End of Steve című pilotot, egy sötét komédiát, amelynek főszereplői, írói és producerei Perry és Peter Tolan voltak.
Perry új komédia pilotját, a Mr. Sunshine-t, amely Perry eredeti ötletén alapult, megvásárolta az ABC. Perry egy identitásválsággal küzdő középkorú férfit alakított volna. Az ABC kilenc epizód után törölte a sorozatot.
2012. március 1-jén jelentették, hogy Perry leszerződött az NBC Go On című komédia pilotjának főszerepére, amelyet a korábbi Jóbarátok író/producer Scott Silveri írt és készített. A projektet 2012 májusában vették sorozatba. Perry alakította Ryan Kinget, egy sportriportert, aki felesége halála után a kötelező terápiás ülések segítségével próbál továbblépni. A pilot 2012. augusztus 8-án került adásba a 2012-es nyári olimpiai játékok után “sneak preview”-ként. A sorozat premierje 2012. szeptember 11-én volt. Az NBC 2012. október 2-án megrendelte a 22 epizódból álló teljes évadot. Az NBC 2013 májusában törölte a Go On-t, nem sokkal az első évad befejezése után.
2012-ben Perry vendégszerepelt a CBS The Good Wife című drámájában, mint Mike Kresteva ügyvéd. 2013-ban újra eljátszotta szerepét a negyedik évadban.
2014-ben Perry debütált a brit televízióban a The Dog Thrower című egyszeri vígjátékban, amely május 1-jén került adásba a Sky Arts Playhouse Presents című műsorának részeként. Perry “egy karizmatikus férfit” alakított, aki azzal bűvölte el a nézőket, hogy a levegőbe dobálta a kutyáját. 2015 és 2017 között Perry szerepelt, társszerzője és executive producere volt a The Odd Couple című sitcom felújításának a CBS-en. Perry Oscar Madisont alakította Thomas Lennon Felix Ungerrel szemben.
Perry játszotta a főszerepet The End of Longing című darabjának új produkciójában, amelyet 2016. február 11-én mutattak be a londoni Playhouse Theatre-ben. A darab Off-Broadwayen átkerült az MCC Theaterbe, amelyet 2017. június 5-én mutattak be Jennifer Morrison főszereplésével.
2017 márciusában Perry ismét eljátszotta Mike Kresteva ügyvéd szerepét a The Good Fight című sorozatban, amely a CBS The Good Wife című drámájának folytatása.
2017-ben később Ted Kennedy szerepét játszotta a The Kennedys című minisorozatban: Camelot után.
2018-ban a Business Insider szerint Perry nettó értéke 80 millió dollár körül van.