Cuando tenía 15 años, Perry se trasladó de Ottawa a Los Ángeles para dedicarse a la interpretación y asistió a The Buckley School en Sherman Oaks, donde se graduó en 1987. Mientras estaba en el instituto, se dedicó a la comedia de improvisación en el LA Connection de Sherman Oaks.
Llegó a interpretar a Chazz Russell en la serie de televisión Second Chance. Después de 13 episodios, Second Chance se convirtió en Boys Will Be Boys, con las tramas centradas en las aventuras de Chazz y sus amigos adolescentes. Tras la única temporada de la serie, Perry se quedó en Los Ángeles e hizo su debut en la pantalla en la película de 1988 Una noche en la vida de Jimmy Reardon. En 1989, Perry tuvo un arco de tres episodios en la serie Growing Pains, en la que interpretó al novio de Carol Seaver, ‘Sandy’, que muere en el hospital después de un accidente de conducción en estado de ebriedad.
En medio de sus muchos y continuos papeles de invitado en la televisión, Perry fue contratado como regular en la comedia de CBS de 1990, interpretando al hermano menor del personaje principal de Valerie Bertinelli. En 1991, hizo una aparición como invitado en Beverly Hills, 90210 como Roger Azarian. Perry consiguió su siguiente papel protagonista en la televisión en la comedia de ABC Home Free, que sólo emitió 11 episodios en la primavera de 1993, seguido de un piloto de comedia titulado LAX 2194.
Intentó conseguir una audición para el piloto Six of One, que más tarde se conocería como Friends, de Marta Kauffman y David Crane, ambos con los que había trabajado en Dream On. Sin embargo, debido a sus compromisos previos con el piloto LAX 2194, no fue considerado inicialmente para una audición. Cuando finalmente consiguió una lectura, consiguió el papel de Chandler Bing.
Friends tuvo un enorme éxito, y Perry, junto con sus coprotagonistas, obtuvo un amplio reconocimiento entre los espectadores de televisión. El programa le valió una nominación al Emmy en 2002 por Actor Principal Destacado en una Serie de Comedia, junto con Matt LeBlanc, pero los dos perdieron ante Ray Romano. Perry apareció en películas como Fools Rush In (junto a su padre John Bennett Perry y Salma Hayek), Almost Heroes, Three to Tango, The Whole Nine Yards (junto a Bruce Willis) y su secuela The Whole Ten Yards, y Serving Sara.
Aunque es conocido sobre todo por sus papeles cómicos, Perry también se ha labrado una carrera en el mundo del drama, sobre todo en su interpretación del consejero adjunto de la Casa Blanca Joe Quincy en The West Wing, de Aaron Sorkin. Sus tres apariciones en esa serie (dos en la cuarta temporada y una en la quinta) le valieron dos nominaciones al Emmy como Actor Invitado Destacado en una Serie Dramática en 2003 y 2004. Se hace referencia a Perry en la serie antes de su aparición como invitado: Donna Moss lo busca (fuera de la pantalla) en el episodio «20 Hours in LA». También apareció como el abogado Todd Merrick en dos episodios cerca del final de la carrera de cinco temporadas de Ally McBeal, incluyendo un especial de 2 horas destinado a revivir la comedia-drama legal.
Después de que Friends terminara, Perry hizo su debut como director en un episodio de la 4ª temporada de la comedia-drama estadounidense Scrubs, en la que también actuó como invitado como «Murray Marks», un operador del equipo de control de tráfico de un pequeño aeropuerto. A Murray se le pide que done un riñón a su padre Gregory (interpretado por el verdadero padre de Perry).
Protagonizó la película de TNT, La historia de Ron Clark, también conocida como «El triunfo», que se estrenó el 13 de agosto de 2006. Perry interpretó al profesor de un pueblo pequeño Ron Clark que se traslada a la clase más dura del país. Perry recibió una nominación al Globo de Oro, así como una nominación al Emmy por su actuación.
De 2006 a 2007, Perry apareció en el drama de Aaron Sorkin Studio 60 on the Sunset Strip. Perry interpretó a Matt Albie junto a Danny Tripp, de Bradley Whitford, un dúo de guionistas y directores contratados para ayudar a salvar un programa de sketches en decadencia. Se consideró que el personaje de Perry se basaba sustancialmente en las propias experiencias personales de Sorkin, especialmente en la televisión.
En 2006, comenzó a rodar Numb, una película basada en un hombre que sufre un trastorno de despersonalización. La fecha de estreno provisional de la película se retrasó varias veces, pero finalmente se lanzó en DVD el 13 de mayo de 2008. También apareció en la obra de David Mamet Sexual Perversity in Chicago en Londres. En 2009, protagonizó la película 17 Again interpretando al mayor Mike O’Donnell.
En 2008, Perry protagonizó la película poco convencional Birds of America en el papel de Morrie Tanager, un hombre estirado que tiene que lidiar con sus hermanos. Showtime pasó un piloto llamado The End of Steve, una comedia oscura protagonizada, escrita y producida por Perry y Peter Tolan.
El nuevo piloto de comedia de Perry, Mr. Sunshine, basado en la idea original de Perry para el programa, fue comprado por ABC. Perry iba a interpretar a un hombre de mediana edad con una crisis de identidad. ABC canceló la serie después de nueve episodios.
El 1 de marzo de 2012, se informó de que Perry había firmado para protagonizar el piloto de comedia de la NBC Go On, escrito y producido por el ex guionista y productor de Friends, Scott Silveri. El proyecto fue elegido para la serie en mayo de 2012. Perry interpreta a Ryan King, un locutor deportivo que intenta seguir adelante tras la muerte de su esposa con la ayuda de sesiones de terapia obligatorias. El piloto se emitió el 8 de agosto de 2012 como «adelanto» tras los Juegos Olímpicos de verano de 2012. La serie se estrenó el 11 de septiembre de 2012. El 2 de octubre de 2012, la NBC ordenó una temporada completa de 22 episodios. NBC canceló Go On en mayo de 2013, poco después de la conclusión de su primera temporada.
En 2012, Perry actuó como invitado en el drama de CBS The Good Wife, como el abogado Mike Kresteva. En 2013, repitió su papel en la cuarta temporada.
En 2014, Perry debutó en la televisión británica en el programa de comedia único The Dog Thrower, que se emitió el 1 de mayo como parte de Sky Arts’ Playhouse Presents. Perry retrataba a «un hombre carismático» que encantaba a los espectadores lanzando a su perro al aire. De 2015 a 2017, Perry protagonizó, coescribió y fue productor ejecutivo de una reposición de la sitcom La extraña pareja en la CBS. Perry interpretó a Oscar Madison frente a Thomas Lennon como Felix Unger.
Perry interpretó el papel principal en una nueva producción de su obra The End of Longing, que se estrenó el 11 de febrero de 2016 en el Playhouse Theatre de Londres. La obra se trasladó fuera de Broadway al MCC Theater, que se estrenó el 5 de junio de 2017, con Jennifer Morrison.
En marzo de 2017, Perry volvió a interpretar su papel de abogado Mike Kresteva, en The Good Fight, una serie secuela del drama de la CBS The Good Wife.
Más tarde, en 2017, protagonizó el papel de Ted Kennedy en la miniserie The Kennedys: After Camelot.
En 2018, Business Insider informó que el valor neto de Perry era de unos 80 millones de dólares.