Es gibt einige Hinweise darauf, dass die Bewohner von Seneca Village Gärten hatten und Vieh züchteten, und der nahe gelegene Hudson River war eine wahrscheinliche Quelle für den Fischfang der Gemeinde. Eine nahe gelegene Quelle, bekannt als Tanner’s Spring, diente als Wasserquelle. Mitte der 1850er-Jahre umfasste Seneca Village 50 Häuser und drei Kirchen sowie Begräbnisstätten und eine Schule für afroamerikanische Schüler.
Eine blühende afroamerikanische Gemeinde
Für Afroamerikaner bot Seneca Village die Möglichkeit, in einer autonomen Gemeinschaft fernab der dicht besiedelten Innenstadt zu leben. Trotz der Abschaffung der Sklaverei im Staat New York im Jahr 1827 war die Diskriminierung in ganz New York City noch immer weit verbreitet und schränkte das Leben der Afroamerikaner stark ein. Die abgelegene Lage von Seneca Village bot wahrscheinlich eine Zuflucht vor diesem Klima. Außerdem konnte man hier den ungesunden und überfüllten Verhältnissen in der Stadt entkommen und hatte Zugang zu mehr Platz innerhalb und außerhalb des Hauses.
Im Vergleich zu anderen in New York lebenden Afroamerikanern scheinen die Bewohner von Seneca Village stabiler und wohlhabender gewesen zu sein – 1855 besaß etwa die Hälfte von ihnen ein eigenes Haus. Mit dem Besitz von Wohneigentum kamen auch andere Rechte, die Afroamerikaner in der Stadt üblicherweise nicht besaßen, nämlich das Wahlrecht. Im Jahr 1821 verlangte der Staat New York von afroamerikanischen Männern, dass sie mindestens 250 Dollar an Eigentum besaßen und mindestens drei Jahre lang ihren Wohnsitz hatten, um wählen zu können. Von den 100 schwarzen New Yorkern, die 1845 wahlberechtigt waren, lebten 10 in Seneca Village.
Die Tatsache, dass viele Bewohner Grundbesitzer waren, widerspricht der Mitte des 19. Jahrhunderts weit verbreiteten falschen Vorstellung, dass es sich bei den Bewohnern des für den Park vorgesehenen Geländes um arme Hausbesetzer handelte, die in Baracken lebten. Zwar lebten einige Bewohner in Baracken und unter beengten Verhältnissen, doch die meisten wohnten in zweistöckigen Häusern. Aus den Volkszählungsaufzeichnungen geht hervor, dass die Bewohner beschäftigt waren, wobei Afroamerikaner in der Regel als Arbeiter und in Dienstleistungsberufen tätig waren, die für sie zu dieser Zeit die wichtigsten Möglichkeiten darstellten. Aus den Aufzeichnungen geht auch hervor, dass die meisten Kinder, die in Seneca Village lebten, die Schule besuchten.
Die Gründung des Central Park
In den frühen 1850er Jahren begann die Stadt mit der Planung eines großen Stadtparks, um den ungesunden städtischen Verhältnissen entgegenzuwirken und Raum für Erholung zu schaffen. Im Jahr 1853 erließ die Legislative des Staates New York ein Gesetz, mit dem 775 Hektar Land in Manhattan – von der 59. bis zur 106. Straße, zwischen der Fifth und der Eighth Avenue – für den ersten großen öffentlichen Landschaftspark des Landes reserviert wurden.
Die Stadt erwarb das Land durch Enteignung, ein Gesetz, das es der Regierung erlaubt, privates Land gegen Entschädigung des Grundbesitzers für öffentliche Zwecke zu nutzen. Dies war im 19. Jahrhundert eine gängige Praxis, die bereits Jahrzehnte zuvor beim Bau des Straßennetzes von Manhattan angewandt worden war. Etwa 1 600 Einwohner wurden in dem Gebiet vertrieben. Obwohl die Landbesitzer entschädigt wurden, argumentierten viele, dass ihr Land unterbewertet sei. Letztendlich mussten alle Bewohner das Gebiet bis Ende 1857 verlassen. Derzeit wird erforscht, wohin die Bewohner von Seneca Village umgesiedelt wurden – einige sind möglicherweise in andere afroamerikanische Gemeinden in der Region gegangen, wie Sandy Ground in Staten Island und Skunk Hollow in New Jersey.