L’expression trouve son origine dans la bande dessinée Keeping Up with the Joneses, créée par Arthur R. « Pop » Momand en 1913. La bande a été publiée jusqu’en 1940 dans le New York World et dans divers autres journaux. La bande dessinée met en scène la famille McGinis, qui s’élève dans la société, et qui s’efforce de « suivre » ses voisins, les Jones du titre. Les Jones étaient des personnages invisibles pendant toute la durée de la bande, dont on parlait souvent mais qu’on ne voyait jamais. L’idiome keeping up with the Joneses est resté populaire longtemps après la fin de la bande dessinée.
L’utilisation du nom Jones pour des voisins impliqués dans la comparaison sociale est antérieure à la bande dessinée de Momand. En 1879, l’écrivain anglais E. J. Simmons écrit dans Memoirs of a Station Master que la gare ferroviaire est un lieu d’échange social : « Les Jones, qui ne fréquentent pas les Robinson, s’y rencontrent ». L’humoriste américain Mark Twain a fait une allusion aux familles Smith et Jones en ce qui concerne les coutumes sociales dans l’essai « Corn Pone Opinions », écrit en 1901 mais publié pour la première fois en 1923. « Les influences extérieures ne cessent de déferler sur nous, et nous ne cessons d’obéir à leurs ordres et d’accepter leurs verdicts. Les Smith aiment la nouvelle pièce de théâtre ; les Jones vont la voir, et ils copient le verdict des Smith. » À partir de 1908, D.W. Griffith réalise une série de courts-métrages comiques mettant en scène la Biograph Girl, Florence Lawrence, et mettant en scène les gens d’à côté, les Jones.
Une autre explication est que les Jones du dicton font référence à la riche famille du père d’Edith Wharton, les Jones. Les Jones étaient une famille new-yorkaise éminente ayant des intérêts substantiels dans la Chemical Bank à la suite de leur mariage avec les filles du fondateur de la banque, John Mason. Les Jones et d’autres riches New-Yorkais ont commencé à construire des villas de campagne dans la vallée de l’Hudson, autour de Rhinecliff et Rhinebeck, qui avaient appartenu aux Livingston, une autre famille new-yorkaise importante à laquelle les Jones étaient apparentés. Les maisons sont devenues de plus en plus grandes. En 1853, Elizabeth Schermerhorn Jones construisit une villa gothique de 24 pièces appelée Wyndcliffe, décrite par Henry Winthrop Sargent en 1859 comme étant très belle dans le style d’un château écossais, mais par Edith Wharton, la nièce d’Elizabeth, comme une monstruosité lugubre. La villa aurait encouragé la construction d’autres bâtiments, dont une maison de William B. Astor (marié à une cousine Jones), un phénomène décrit comme « suivre les Jones ». L’expression est également associée à une autre tante d’Edith Wharton, Mary Mason Jones, qui a construit un grand manoir à l’angle de la Cinquième Avenue et de la 57e Rue, alors non aménagé. Wharton la dépeint affectueusement dans Le Temps de l’innocence comme Mme Manson Mingott, « attendant calmement que la mode coule vers le nord ».
Une version légèrement différente veut que l’expression fasse référence au style de vie grandiose des Jones qui, au milieu du siècle, étaient nombreux et riches, grâce à la Chemical Bank et à la connexion Mason. C’est leur relation, Mme William Backhouse Astor, Jr, qui a lancé les « bals des patriarches », à l’origine de « The Four Hundred », la liste de l’élite de la société qui était invitée. A cette époque, les Jones étaient éclipsés par l’immense richesse des Astor, Vanderbilt et autres, mais la liste des quatre cents publiée en 1892 contenait beaucoup des Jones et de leurs relations ; l’argent ancien comptait encore.