À l’âge de 15 ans, Perry quitte Ottawa pour Los Angeles afin de se consacrer au théâtre et fréquente la Buckley School de Sherman Oaks, dont il sort diplômé en 1987. Il a poursuivi la comédie d’improvisation à la LA Connection à Sherman Oaks alors qu’il était encore au lycée.
Il a ensuite joué le rôle de Chazz Russell dans la série télévisée Second Chance. Après 13 épisodes, Seconde Chance devient Boys Will Be Boys, les intrigues étant recentrées sur les aventures de Chazz et de ses amis adolescents. Après l’unique saison de la série, Perry reste à Los Angeles et fait ses débuts à l’écran dans le film A Night in the Life of Jimmy Reardon, en 1988. En 1989, Perry a eu un arc de trois épisodes dans la série Growing Pains, dans lequel il a joué le petit ami de Carol Seaver, ‘Sandy’, qui meurt à l’hôpital après un accident de conduite en état d’ivresse.
Au milieu de ses nombreux rôles d’invités continus à la télévision, Perry a été choisi comme régulier dans la sitcom Sydney de CBS en 1990, jouant le frère cadet du personnage titre de Valerie Bertinelli. En 1991, il fait une apparition dans Beverly Hills, 90210, dans le rôle de Roger Azarian. Perry a décroché son rôle vedette suivant à la télévision dans la sitcom ABC Home Free, qui n’a diffusé que 11 épisodes au printemps 1993, suivie d’un pilote de sitcom intitulé LAX 2194.
Il a tenté d’obtenir une audition pour le pilote Six of One, qui sera plus tard connu sous le nom de Friends, par Marta Kauffman et David Crane, avec qui il avait travaillé sur Dream On. Cependant, en raison d’engagements antérieurs pour le pilote LAX 2194, il n’a pas été retenu pour une audition. Lorsqu’il a finalement obtenu une lecture, il a décroché le rôle de Chandler Bing.
Friends a connu un énorme succès, et Perry, ainsi que ses co-stars, ont gagné une large reconnaissance parmi les téléspectateurs. L’émission lui vaut une nomination aux Emmy en 2002 pour le meilleur acteur principal dans une série comique, aux côtés de Matt LeBlanc, mais les deux s’inclinent face à Ray Romano. Perry est apparu dans des films tels que Fools Rush In (aux côtés de son père John Bennett Perry et de Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (aux côtés de Bruce Willis) et sa suite The Whole Ten Yards, et Serving Sara.
Bien que connu principalement pour ses rôles comiques, Perry s’est également taillé une carrière dans le drame, notamment dans son interprétation du conseiller associé de la Maison Blanche Joe Quincy dans la série The West Wing d’Aaron Sorkin. Ses trois apparitions dans cette série (deux fois dans la quatrième saison et une fois dans la cinquième) lui ont valu deux nominations aux Emmy Awards pour le meilleur acteur invité dans une série dramatique en 2003 et 2004. Perry est mentionné dans la série avant son apparition en tant qu’invité – Donna Moss le recherche (hors écran) dans l’épisode « 20 Hours in LA ». Il est également apparu dans le rôle de l’avocat Todd Merrick dans deux épisodes vers la fin des cinq saisons d’Ally McBeal, dont un spécial de deux heures destiné à relancer la comédie dramatique juridique.
Après la fin de Friends, Perry a fait ses débuts de réalisateur dans un épisode de la 4e saison de la comédie dramatique américaine Scrubs, dans lequel il a également joué le rôle invité de « Murray Marks », un opérateur de l’équipe de contrôle du trafic d’un petit aéroport. Murray est invité à donner un rein à son père Gregory (joué par le vrai père de Perry).
Il a joué dans le film de TNT, The Ron Clark Story également connu sous le nom de « The Triumph » qui a été diffusé pour la première fois le 13 août 2006. Perry a joué le rôle de Ron Clark, un enseignant d’une petite ville, qui s’installe dans la classe la plus difficile du pays. Perry a reçu une nomination aux Golden Globes ainsi qu’une nomination aux Emmy pour sa performance.
De 2006 à 2007, Perry est apparu dans le drame Studio 60 on the Sunset Strip d’Aaron Sorkin. Perry jouait le rôle de Matt Albie aux côtés du Danny Tripp de Bradley Whitford, un duo de scénaristes-réalisateurs amené pour aider à sauver une émission de sketchs en difficulté. Le personnage de Perry a été considéré comme étant substantiellement basé sur les expériences personnelles de Sorkin, en particulier à la télévision.
En 2006, il a commencé le tournage de Numb, un film basé sur un homme souffrant de trouble de dépersonnalisation. La date de sortie provisoire du film a été repoussée plusieurs fois, mais est finalement sortie en DVD le 13 mai 2008. Il a également joué dans la pièce Sexual Perversity in Chicago de David Mamet, à Londres. En 2009, il a joué dans le film 17 Again en jouant le rôle de Mike O’Donnell plus âgé.
En 2008, Perry a joué dans le film décalé Birds of America dans le rôle de Morrie Tanager, un homme coincé qui doit faire face à ses frères et sœurs. Showtime a refusé un pilote intitulé The End of Steve, une comédie noire avec Perry et Peter Tolan comme vedettes, écrite et produite.
Le nouveau pilote de comédie de Perry, Mr Sunshine, basé sur l’idée originale de Perry pour la série, a été acheté par ABC. Perry devait incarner un homme d’âge moyen en crise d’identité. ABC a annulé la série après neuf épisodes.
Le 1er mars 2012, il a été rapporté que Perry avait signé pour jouer dans le pilote de comédie de NBC Go On, écrit et produit par l’ancien scénariste/producteur de Friends, Scott Silveri. Le projet a été repris en série en mai 2012. Perry incarne Ryan King, un journaliste sportif qui tente de tourner la page après la mort de sa femme grâce à des séances de thérapie obligatoires. Le pilote a été diffusé le 8 août 2012 en « avant-première » après les Jeux olympiques d’été 2012. La série a été diffusée en première le 11 septembre 2012. Le 2 octobre 2012, NBC a commandé une saison complète de 22 épisodes. NBC a annulé Go On en mai 2013, peu après la conclusion de sa première saison.
En 2012, Perry a fait une apparition dans la série dramatique de CBS The Good Wife, dans le rôle de l’avocat Mike Kresteva. En 2013, il a repris son rôle dans la quatrième saison.
En 2014, Perry a fait ses débuts à la télévision britannique dans l’émission comique unique The Dog Thrower, diffusée le 1er mai dans le cadre de Sky Arts’ Playhouse Presents. Perry y incarnait « un homme charismatique » qui enchantait les badauds en lançant son chien dans les airs. De 2015 à 2017, Perry a tenu le rôle principal, a coécrit et a été producteur exécutif d’une reprise de la sitcom The Odd Couple sur CBS. Perry a joué le rôle d’Oscar Madison face à Thomas Lennon dans le rôle de Felix Unger.
Perry a joué le rôle principal dans une nouvelle production de sa pièce The End of Longing, qui a été créée le 11 février 2016 au Playhouse Theatre de Londres. La pièce a été transférée Off-Broadway au MCC Theater, qui a ouvert le 5 juin 2017, avec Jennifer Morrison.
En mars 2017, Perry a de nouveau repris son rôle d’avocat Mike Kresteva, dans The Good Fight, une série qui fait suite au drame de CBS The Good Wife.
Plus tard en 2017, il a joué le rôle de Ted Kennedy dans la mini-série The Kennedys : After Camelot.
En 2018, Business Insider a rapporté que la valeur nette de Perry était d’environ 80 millions de dollars.