1923-ban Ellington már New Yorkban volt és egy kis zenekart vezetett a Hollywood Clubban. (Az 1925-ös tűzvész után Kentucky Club néven nyílt meg újra.) Ellington ezután a Cotton Clubba költözött Harlembe (egy New York-i városrész). Ott 1927-től 1932-ig, majd 1937-től 1938-ig vezette a zenekart. Zenekarát végül 14 tagúra bővítette. Zenekarának tagjai közül sokan maguk is kivételes muzsikusok és jelentős jazzművészek voltak. Néhányan közülük évtizedekig Ellington zenekarában maradtak. Ellington és zenekara több száz felvételt készített, filmekben és a rádióban is szerepelt, 1933-ban és 1939-ben pedig európai turnéra indult. Leghíresebb darabjai közé tartozik a “Mood Indigo”, a “Sophisticated Lady” és a “Black and Tan Fantasy”.
A második világháború után (1939-45) Ellington és zenekara az egész világon turnézott, többek között Ázsiában, Nyugat-Afrikában, Dél-Amerikában és Ausztráliában. Fekete, barna és bézs című művét 1943-ban mutatták be a Carnegie Hallban, a New York-i történelmi koncertteremben. A mű az afroamerikai történelem zenei ábrázolása volt. Ellington írt zenét Az aszfaltdzsungel (1950) és Egy gyilkosság anatómiája (1959) című filmekhez is. 1969-ben megkapta az Elnöki Szabadság-érmet. Ellington 1973-ban adta ki Music Is My Mistress című önéletrajzát. 1974. május 24-én halt meg New York Cityben.