Det finns vissa bevis för att invånarna hade trädgårdar och födde upp boskap i Seneca Village, och den närliggande Hudsonfloden var en trolig källa till fiske för samhället. En närliggande källa, känd som Tanner’s Spring, tillhandahöll en vattenkälla. I mitten av 1850-talet bestod Seneca Village av 50 bostäder och tre kyrkor samt begravningsplatser och en skola för afroamerikanska elever.
Ett blomstrande afroamerikanskt samhälle
För afroamerikaner erbjöd Seneca Village möjligheten att leva i ett självständigt samhälle långt från den tättbefolkade innerstaden. Trots att delstaten New York avskaffade slaveriet 1827 var diskrimineringen fortfarande utbredd i hela New York City och begränsade afroamerikanernas liv kraftigt. Seneca Village avlägsna läge erbjöd sannolikt en tillflykt från detta klimat. Det skulle också ha gett en flykt från de ohälsosamma och trånga förhållandena i staden, och tillgång till mer utrymme både i och utanför hemmet.
Jämfört med andra afroamerikaner som bodde i New York verkar invånarna i Seneca Village ha varit mer stabila och välmående – år 1855 ägde ungefär hälften av dem ett eget hem. Med äganderätten följde andra rättigheter som inte var vanliga för afroamerikaner i staden – nämligen rösträtten. År 1821 krävde delstaten New York att afroamerikanska män skulle äga minst 250 dollar i egendom och vara bosatta i minst tre år för att få rösta. Av de 100 svarta New York-bor som var röstberättigade 1845 bodde 10 i Seneca Village.
Det faktum att många invånare var fastighetsägare motsäger vissa vanliga missuppfattningar under mitten av 1800-talet om att de människor som bodde på den mark som var avsedd för parken var fattiga ockupanter som bodde i kåkstäder. Även om vissa invånare bodde i kåkstäder och under trånga förhållanden, bodde de flesta i tvåvåningshus. Folkräkningsuppgifter visar att invånarna hade arbete, och afroamerikaner arbetade vanligtvis som arbetare och i serviceyrken, vilket var de viktigaste alternativen för dem vid den här tiden. Uppgifterna visar också att de flesta barn som bodde i Seneca Village gick i skolan.
Skapandet av Central Park
I början av 1850-talet började staden planera för en stor kommunal park för att motverka ohälsosamma stadsmiljöer och ge utrymme för rekreation. År 1853 antog New York State Legislature en lag som avsatte 775 hektar mark på Manhattan – från 59th till 106th Streets, mellan Fifth och Eighth Avenues – för att skapa landets första stora anlagda offentliga park.
Staden förvärvade marken genom eminent domain, en lag som gör det möjligt för regeringen att ta privat mark för offentlig användning mot ersättning till markägaren. Detta var en vanlig praxis på 1800-talet och hade använts för att bygga Manhattans gatunät årtionden tidigare. Det var ungefär 1 600 invånare som fördrevs i hela området. Även om markägarna kompenserades, hävdade många att deras mark var undervärderad. I slutändan var alla invånare tvungna att flytta i slutet av 1857. Forskning pågår för att fastställa vart invånarna i Seneca Village flyttade – vissa kan ha flyttat till andra afroamerikanska samhällen i regionen, t.ex. Sandy Ground i Staten Island och Skunk Hollow i New Jersey.