Als er 15 Jahre alt war, zog Perry von Ottawa nach Los Angeles, um der Schauspielerei nachzugehen, und besuchte die Buckley School in Sherman Oaks, die er 1987 abschloss. Noch während seiner Highschoolzeit begann er mit Improvisationskomik an der LA Connection in Sherman Oaks.
Danach spielte er Chazz Russell in der Fernsehserie Second Chance. Nach 13 Episoden wurde Second Chance zu Boys Will Be Boys, wobei sich die Handlung auf die Abenteuer von Chazz und seinen Teenager-Freunden konzentrierte. Nach der einzigen Staffel der Serie blieb Perry in Los Angeles und gab 1988 sein Leinwanddebüt in dem Film A Night in the Life of Jimmy Reardon. 1989 hatte Perry eine dreiteilige Rolle in der Serie Growing Pains, in der er Carol Seavers Freund ‚Sandy‘ darstellte, der nach einem Unfall unter Alkoholeinfluss im Krankenhaus stirbt.
Inmitten seiner vielen fortlaufenden Gastrollen im Fernsehen wurde Perry 1990 als Stammgast in der CBS-Sitcom Sydney besetzt, wo er den jüngeren Bruder von Valerie Bertinellis Titelfigur spielte. Im Jahr 1991 hatte er einen Gastauftritt in Beverly Hills, 90210 als Roger Azarian. Perry bekam seine nächste TV-Hauptrolle in der ABC-Sitcom Home Free, die im Frühjahr 1993 nur 11 Episoden ausstrahlte, gefolgt von einem Sitcom-Pilotfilm mit dem Titel LAX 2194.
Er versuchte, sich ein Vorsprechen für den Pilotfilm Six of One, der später unter dem Namen Friends bekannt wurde, von Marta Kauffman und David Crane zu sichern, mit denen er bereits bei Dream On zusammengearbeitet hatte. Aufgrund früherer Verpflichtungen für den Pilotfilm LAX 2194 wurde er jedoch zunächst nicht für ein Vorsprechen berücksichtigt. Als er schließlich doch vorsprechen durfte, bekam er die Rolle des Chandler Bing.
Friends war sehr erfolgreich, und Perry erlangte zusammen mit seinen Co-Stars große Anerkennung bei den Fernsehzuschauern. Die Sendung brachte ihm 2002 eine Emmy-Nominierung in der Kategorie Herausragender Hauptdarsteller in einer Comedy-Serie ein, zusammen mit Matt LeBlanc, aber die beiden verloren gegen Ray Romano. Perry spielte in Filmen wie Fools Rush In (an der Seite seines Vaters John Bennett Perry und Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (an der Seite von Bruce Willis) und dessen Fortsetzung The Whole Ten Yards sowie Serving Sara.
Auch wenn er in erster Linie für seine komödiantischen Rollen bekannt ist, hat Perry auch im Bereich Drama Karriere gemacht, vor allem durch seine Darstellung des stellvertretenden Anwalts im Weißen Haus Joe Quincy in Aaron Sorkins The West Wing. Seine drei Auftritte in dieser Serie (zweimal in der vierten und einmal in der fünften Staffel) brachten ihm zwei Emmy-Nominierungen als herausragender Gastdarsteller in einer Dramaserie in den Jahren 2003 und 2004 ein. Perry wird in der Serie schon vor seinem Gastauftritt erwähnt – Donna Moss sucht ihn (aus dem Off) in der Folge „20 Hours in LA“ auf. Außerdem trat er als Anwalt Todd Merrick in zwei Episoden gegen Ende der fünften Staffel von Ally McBeal auf, darunter auch in einem zweistündigen Special, mit dem das juristische Comedy-Drama wiederbelebt werden sollte.
Nach dem Ende von Friends gab Perry sein Regiedebüt in einer Episode der vierten Staffel des amerikanischen Comedy-Dramas Scrubs, in der er auch eine Gastrolle als „Murray Marks“ hatte, einem Mitarbeiter der Verkehrsüberwachung eines kleinen Flughafens. Murray wird gebeten, seinem Vater Gregory (gespielt von Perrys echtem Vater) eine Niere zu spenden.
Er spielte die Hauptrolle in dem TNT-Film The Ron Clark Story, auch bekannt als „The Triumph“, der am 13. August 2006 Premiere hatte. Perry spielte den Kleinstadtlehrer Ron Clark, der in die härteste Klasse des Landes versetzt wird. Perry erhielt für seine Darstellung eine Golden-Globe- sowie eine Emmy-Nominierung.
Von 2006 bis 2007 spielte Perry in Aaron Sorkins Drama Studio 60 on the Sunset Strip mit. Perry spielte Matt Albie an der Seite von Bradley Whitfords Danny Tripp, einem Autor-Regisseur-Duo, das eine scheiternde Sketch-Show retten soll. Es wurde angenommen, dass Perrys Charakter im Wesentlichen auf Sorkins eigenen persönlichen Erfahrungen, insbesondere beim Fernsehen, basiert.
Im Jahr 2006 begann er mit den Dreharbeiten zu Numb, einem Film über einen Mann, der an einer Depersonalisationsstörung leidet. Das vorläufige Veröffentlichungsdatum des Films wurde mehrmals verschoben, aber schließlich wurde er am 13. Mai 2008 auf DVD veröffentlicht. Außerdem spielte er in David Mamets Sexual Perversity in Chicago in London mit. Im Jahr 2009 spielte er in dem Film 17 Again den älteren Mike O’Donnell.
Im Jahr 2008 spielte Perry in dem schrägen Film Birds of America die Rolle des Morrie Tanager, eines verklemmten Mannes, der mit seinen Geschwistern zurechtkommen muss. Showtime lehnte einen Pilotfilm mit dem Titel The End of Steve ab, eine düstere Komödie, die von Perry und Peter Tolan geschrieben und produziert wurde.
Perrys neuer Comedy-Pilotfilm Mr. Sunshine, der auf Perrys ursprünglicher Idee für die Serie basiert, wurde von ABC gekauft. Perry sollte einen Mann mittleren Alters darstellen, der eine Identitätskrise hat. ABC brach die Serie nach neun Folgen ab.
Am 1. März 2012 wurde berichtet, dass Perry für die Hauptrolle in der NBC-Comedy Go On unterschrieben hatte, die vom ehemaligen Friends-Autor/Produzenten Scott Silveri geschrieben und produziert wurde. Das Projekt wurde im Mai 2012 in die Serie aufgenommen. Perry spielte Ryan King, einen Sportreporter, der nach dem Tod seiner Frau mit Hilfe von obligatorischen Therapiesitzungen versucht, darüber hinwegzukommen. Der Pilotfilm wurde am 8. August 2012 als „Sneak Preview“ nach den Olympischen Sommerspielen 2012 ausgestrahlt. Die Serie feierte am 11. September 2012 Premiere. Am 2. Oktober 2012 bestellte NBC eine komplette Staffel mit 22 Episoden. NBC beendete Go On im Mai 2013, kurz nach dem Ende der ersten Staffel.
Im Jahr 2012 hatte Perry eine Gastrolle in der CBS-Serie The Good Wife als Anwalt Mike Kresteva. Im Jahr 2013 wiederholte er seine Rolle in der vierten Staffel.
Im Jahr 2014 gab Perry sein britisches TV-Debüt in der einmaligen Comedy-Sendung The Dog Thrower, die am 1. Mai im Rahmen von Sky Arts‘ Playhouse Presents ausgestrahlt wurde. Perry spielte darin einen „charismatischen Mann“, der die Zuschauer verzauberte, indem er seinen Hund in die Luft warf. Von 2015 bis 2017 war Perry als Hauptdarsteller, Co-Autor und ausführender Produzent an einer Neuauflage der Sitcom The Odd Couple auf CBS beteiligt. Perry spielte Oscar Madison gegenüber Thomas Lennon als Felix Unger.
Perry spielte die Hauptrolle in einer neuen Produktion seines Stücks The End of Longing, das am 11. Februar 2016 am Playhouse Theatre in London uraufgeführt wurde. Das Stück wurde Off-Broadway an das MCC Theater übertragen, das am 5. Juni 2017 mit Jennifer Morrison eröffnete.
Im März 2017 spielte Perry erneut seine Rolle als Anwalt Mike Kresteva in The Good Fight, einer Nachfolgeserie des CBS-Dramas The Good Wife.
Später im Jahr 2017 spielte er die Rolle des Ted Kennedy in der Miniserie The Kennedys: After Camelot.
Im Jahr 2018 gab Business Insider Perrys Nettovermögen mit rund 80 Millionen Dollar an.