Er zijn aanwijzingen dat de bewoners tuinen hadden en vee hielden in Seneca Village, en de nabijgelegen rivier de Hudson was waarschijnlijk een bron van visvangst voor de gemeenschap. Een nabijgelegen bron, bekend als Tanner’s Spring, zorgde voor een waterbron. Tegen het midden van de jaren 1850 bestond Seneca Village uit 50 huizen en drie kerken, evenals begraafplaatsen en een school voor Afro-Amerikaanse studenten.
Een bloeiende Afro-Amerikaanse gemeenschap
Voor Afro-Amerikanen bood Seneca Village de mogelijkheid om in een autonome gemeenschap te wonen, ver van de dichtbevolkte binnenstad. Ondanks de afschaffing van de slavernij in de staat New York in 1827, was discriminatie in New York City nog wijdverbreid en werd het leven van Afro-Amerikanen ernstig beperkt. De afgelegen ligging van Seneca Village bood waarschijnlijk een toevluchtsoord tegen dit klimaat. Het zou ook een ontsnapping zijn geweest uit de ongezonde en overvolle omstandigheden van de stad, en toegang tot meer ruimte, zowel binnen als buiten het huis.
Vergeleken met andere Afro-Amerikanen die in New York woonden, lijken de bewoners van Seneca Village stabieler en welvarender te zijn geweest – in 1855 bezat ongeveer de helft van hen een eigen huis. Met het bezit van onroerend goed kwamen ook andere rechten die de Afro-Amerikanen in de stad niet gewoonlijk hadden, namelijk het recht om te stemmen. In 1821 eiste de staat New York van Afro-Amerikaanse mannen dat zij minstens 250 dollar aan onroerend goed bezaten en dat zij minstens drie jaar in New York woonden om te mogen stemmen. Van de 100 zwarte New Yorkers die in 1845 stemgerechtigd waren, woonden er 10 in Seneca Village.
Het feit dat veel bewoners onroerend goed bezaten, weerspreekt enkele misvattingen uit het midden van de 19e eeuw dat de mensen die op het voor het park bestemde land woonden, arme krakers waren die in krotten woonden. Hoewel sommige bewoners in krotten en in overvolle omstandigheden woonden, woonden de meeste in huizen met twee verdiepingen. Uit de volkstellingsgegevens blijkt dat de bewoners werk hadden, waarbij de Afro-Amerikanen meestal werk hadden als arbeiders en in dienstverlenende beroepen, de belangrijkste mogelijkheden voor hen in die tijd. Uit de gegevens blijkt ook dat de meeste kinderen die in Seneca Village woonden naar school gingen.
De aanleg van Central Park
In het begin van de jaren 1850 begon de stad plannen te maken voor een groot stadspark om ongezonde stedelijke omstandigheden tegen te gaan en ruimte te bieden voor recreatie. In 1853 vaardigde de New York State Legislature een wet uit die 775 acres land in Manhattan – van 59th tot 106th Streets, tussen Fifth en Eighth Avenues – braaklegde voor de aanleg van het eerste grote landschapspark van het land.
De stad verwierf het land door middel van eminent domain, de wet die de overheid toestaat particuliere grond in beslag te nemen voor openbaar gebruik, met een vergoeding voor de grondeigenaar. Dit was een gangbare praktijk in de 19e eeuw, en was al tientallen jaren eerder gebruikt om het stratenstelsel van Manhattan aan te leggen. In het hele gebied werden ongeveer 1.600 inwoners verdreven. Hoewel de landeigenaren werden gecompenseerd, voerden velen aan dat hun land ondergewaardeerd was. Uiteindelijk moesten alle bewoners eind 1857 vertrekken. Onderzoek is aan de gang om te bepalen waar de bewoners van Seneca Village naartoe verhuisden – sommigen zijn misschien naar andere Afro-Amerikaanse gemeenschappen in de regio gegaan, zoals Sandy Ground in Staten Island en Skunk Hollow in New Jersey.