Por 1923 Ellington estava em Nova York liderando uma pequena banda no Hollywood Club. (Reabriu como o Kentucky Club após um incêndio em 1925.) Ellington então se mudou para o Cotton Club em Harlem (um bairro na cidade de Nova York). Ele liderou a banda lá de 1927 a 1932 e novamente de 1937 a 1938. Ele eventualmente expandiu sua banda para 14 membros. Muitos dos membros da banda eram músicos excepcionais e importantes artistas de jazz. Alguns deles permaneceram na banda de Ellington por décadas. Ellington e sua banda fizeram centenas de gravações, apareceram em filmes e no rádio, e fizeram turnês pela Europa em 1933 e 1939. Algumas de suas peças mais famosas são “Mood Indigo”, “Sophisticated Lady”, e “Black and Tan Fantasy”.
Após a Segunda Guerra Mundial (1939-45) Ellington e sua banda fizeram turnês por todo o mundo, incluindo Ásia, África Ocidental, América do Sul, e Austrália. Em 1943, os seus Black, Brown e Beige estrearam no Carnegie Hall, uma histórica sala de concertos em Nova Iorque. O trabalho foi um retrato musical da história afro-americana. Ellington também escreveu música para os filmes The Asphalt Jungle (1950) e Anatomy of a Murder (1959). Em 1969 foi condecorado com a Medalha Presidencial da Liberdade. Ellington publicou a sua autobiografia Music Is My Mistress em 1973. Ele morreu em 24 de maio de 1974, na cidade de Nova York.