Der er visse tegn på, at beboerne havde haver og opdrættede husdyr i Seneca Village, og den nærliggende Hudson-floden var sandsynligvis en kilde til fiskeri for lokalsamfundet. En nærliggende kilde, kendt som Tanner’s Spring, udgjorde en vandkilde. I midten af 1850’erne bestod Seneca Village af 50 huse og tre kirker samt begravelsespladser og en skole for afroamerikanske elever.
Et blomstrende afroamerikansk samfund
For afroamerikanere gav Seneca Village mulighed for at bo i et selvstændigt samfund langt fra den tætbefolkede bymidte. På trods af New York State’s afskaffelse af slaveriet i 1827 var diskrimination stadig udbredt i hele New York City og begrænsede afroamerikanernes liv i høj grad. Seneca Village’s afsides beliggenhed gav sandsynligvis et tilflugtssted fra dette klima. Det ville også have givet en flugt fra de usunde og overfyldte forhold i byen og adgang til mere plads både indenfor og udenfor hjemmet.
Sammenlignet med andre afroamerikanere, der boede i New York, synes beboerne i Seneca Village at have været mere stabile og velstående – i 1855 ejede omkring halvdelen af dem deres eget hjem. Med ejendomsretten fulgte andre rettigheder, som ikke var almindelige for afroamerikanere i byen – nemlig retten til at stemme. I 1821 krævede staten New York, at afroamerikanske mænd skulle eje mindst 250 dollars i ejendom og have haft bopæl i mindst tre år for at kunne stemme. Af de 100 sorte New Yorkere, der havde stemmeret i 1845, boede 10 i Seneca Village.
Den kendsgerning, at mange beboere var ejere af fast ejendom, modsiger nogle almindelige misforståelser i midten af det 19. århundrede om, at de mennesker, der boede på den jord, der var udset til parken, var fattige squatters, der boede i shanties. Mens nogle beboere boede i shanties og under trange forhold, boede de fleste i toetagers huse. Folketællingsoptegnelser viser, at beboerne havde arbejde, og afroamerikanere var typisk ansat som arbejdere og i servicejobs, som var de vigtigste muligheder for dem på det tidspunkt. Optegnelser viser også, at de fleste børn, der boede i Seneca Village, gik i skole.
Skabelsen af Central Park
I begyndelsen af 1850’erne begyndte byen at planlægge en stor kommunal park for at modvirke usunde byforhold og give plads til rekreation. I 1853 vedtog New York State Legislature en lov, der afsatte 775 acres jord på Manhattan – fra 59th til 106th Streets, mellem Fifth og Eighth Avenues – til at skabe landets første store anlagte offentlige park.
Byen erhvervede jorden ved hjælp af eminent domain, en lov, der giver regeringen mulighed for at tage privat jord til offentlig brug mod betaling af kompensation til grundejeren. Dette var en almindelig praksis i det 19. århundrede, og den var blevet brugt til at bygge Manhattans gadenet årtier tidligere. Omkring 1.600 indbyggere blev fordrevet i hele området. Selv om grundejerne blev kompenseret, hævdede mange, at deres jord var undervurderet. I sidste ende måtte alle beboere forlade området ved udgangen af 1857. Der er undersøgelser i gang for at fastslå, hvor Seneca Village-beboerne flyttede hen – nogle kan være taget til andre afroamerikanske samfund i regionen, såsom Sandy Ground i Staten Island og Skunk Hollow i New Jersey.