Istnieją pewne dowody na to, że mieszkańcy mieli ogrody i hodowali zwierzęta w Seneca Village, a pobliska rzeka Hudson była prawdopodobnym źródłem połowów dla społeczności. Pobliskie źródło, znane jako Tanner’s Spring, zapewniało źródło wody. Do połowy 1850 roku, Seneca Village składała się z 50 domów i trzech kościołów, a także cmentarzy i szkoły dla afroamerykańskich studentów.
Rozkwitająca społeczność afroamerykańska
Dla Afroamerykanów, Seneca Village oferowała możliwość życia w autonomicznej społeczności z dala od gęsto zaludnionego centrum miasta. Pomimo zniesienia niewolnictwa w stanie Nowy Jork w 1827 roku, dyskryminacja była nadal powszechna w całym Nowym Jorku i poważnie ograniczała życie Afroamerykanów. Oddalone położenie Seneca Village prawdopodobnie zapewniało schronienie przed tym klimatem. Zapewniłoby to również ucieczkę od niezdrowych i zatłoczonych warunków miasta oraz dostęp do większej przestrzeni zarówno wewnątrz, jak i na zewnątrz domu.
W porównaniu z innymi Afroamerykanami mieszkającymi w Nowym Jorku, mieszkańcy Seneca Village wydają się być bardziej stabilni i zamożni – w 1855 roku około połowa z nich posiadała własne domy. Wraz z własnością nieruchomości przyszły inne prawa, których Afroamerykanie w mieście nie posiadali powszechnie – a mianowicie prawo do głosowania. W 1821 roku stan Nowy Jork wymagał od Afroamerykanów posiadania majątku o wartości co najmniej 250 dolarów i zamieszkiwania w mieście przez co najmniej trzy lata, aby móc głosować. Ze 100 czarnych nowojorczyków uprawnionych do głosowania w 1845 roku, 10 mieszkało w Seneca Village.
Fakt, że wielu mieszkańców było właścicielami nieruchomości przeczy niektórym powszechnym błędnym wyobrażeniom w połowie XIX wieku, że ludzie żyjący na ziemi przeznaczonej pod Park byli biednymi squattersami żyjącymi w szantach. Podczas gdy niektórzy mieszkańcy żyli w szałasach i w zatłoczonych warunkach, większość mieszkała w dwupiętrowych domach. Zapisy spisu powszechnego pokazują, że mieszkańcy byli zatrudnieni, a Afroamerykanie zazwyczaj pracowali jako robotnicy i w zawodach usługowych, co było dla nich główną opcją w tamtym czasie. Zapisy pokazują również, że większość dzieci, które mieszkały w Seneca Village uczęszczały do szkoły.
Tworzenie Central Park
Na początku 1850 roku, miasto zaczęło planować duży park miejski, aby przeciwdziałać niezdrowym warunkom miejskim i zapewnić przestrzeń do rekreacji. W 1853 roku Legislatura Stanu Nowy Jork uchwaliła ustawę, na mocy której wydzielono 775 akrów ziemi na Manhattanie – od 59. do 106. ulicy, między Piątą i Ósmą Aleją – w celu stworzenia pierwszego w kraju dużego parku publicznego o charakterze krajobrazowym.
Miasto nabyło ziemię w drodze eminentnej domeny, prawa, które pozwala rządowi zabrać prywatną ziemię do użytku publicznego za odszkodowaniem wypłaconym właścicielowi ziemi. Była to powszechna praktyka w XIX wieku i została wykorzystana do budowy siatki ulic Manhattanu kilkadziesiąt lat wcześniej. Na całym obszarze przesiedlono około 1600 mieszkańców. Chociaż właściciele ziemscy otrzymali rekompensaty, wielu z nich twierdziło, że ich ziemia była niedowartościowana. Ostatecznie wszyscy mieszkańcy musieli się wyprowadzić do końca 1857 roku. Trwają badania mające na celu ustalenie, gdzie przenieśli się mieszkańcy Seneca Village – część z nich mogła trafić do innych afroamerykańskich społeczności w regionie, takich jak Sandy Ground na Staten Island i Skunk Hollow w New Jersey.