Existují důkazy, že obyvatelé měli v Seneca Village zahrady a chovali hospodářská zvířata a nedaleká řeka Hudson byla pravděpodobně zdrojem rybolovu pro komunitu. Nedaleký pramen, známý jako Tannerův pramen, poskytoval zdroj vody. V polovině 50. let 19. století tvořilo Seneca Village 50 domů, tři kostely, pohřebiště a škola pro afroamerické studenty.
Prosperující afroamerická komunita
Pro Afroameričany nabízela Seneca Village možnost žít v autonomní komunitě daleko od hustě obydleného centra města. Přestože stát New York v roce 1827 zrušil otroctví, v celém New Yorku stále převládala diskriminace, která výrazně omezovala život Afroameričanů. Odlehlá poloha Seneca Village pravděpodobně poskytovala útočiště před tímto prostředím. Mohla také poskytnout únik z nezdravých a přeplněných podmínek ve městě a přístup k většímu prostoru uvnitř i vně domova.
V porovnání s ostatními Afroameričany žijícími v New Yorku byli obyvatelé Seneca Village zřejmě stabilnější a prosperující – v roce 1855 vlastnila vlastní dům přibližně polovina z nich. S vlastnictvím nemovitosti přicházela další práva, která Afroameričané ve městě běžně neměli – konkrétně volební právo. V roce 1821 stát New York vyžadoval, aby Afroameričané vlastnili majetek v hodnotě nejméně 250 dolarů a měli trvalý pobyt alespoň tři roky, aby mohli volit. Ze 100 černých Newyorčanů, kteří měli v roce 1845 volební právo, jich 10 žilo v Seneca Village.
Skutečnost, že mnoho obyvatel bylo vlastníky nemovitostí, popírá některé mylné představy rozšířené v polovině 19. století, že lidé žijící na pozemcích určených pro park byli chudí squatteři žijící v chatrčích. Zatímco někteří obyvatelé žili v chatrčích a ve stísněných podmínkách, většina žila ve dvoupatrových domech. Záznamy ze sčítání lidu ukazují, že obyvatelé byli zaměstnaní, přičemž Afroameričané obvykle pracovali jako dělníci a ve službách, což pro ně v té době byly hlavní možnosti. Záznamy také ukazují, že většina dětí, které žily v Seneca Village, navštěvovala školu.
Vznik Central Parku
Na počátku 50. let 19. století začalo město plánovat velký městský park, který měl čelit nezdravým městským podmínkám a poskytnout prostor pro rekreaci. V roce 1853 přijal zákonodárný sbor státu New York zákon, který vyčlenil 775 akrů pozemků na Manhattanu – od 59. do 106. ulice mezi Pátou a Osmou avenue – pro vytvoření prvního velkého krajinářského veřejného parku v zemi.
Město získalo pozemky prostřednictvím eminent domain, zákona, který umožňuje vládě zabírat soukromé pozemky pro veřejné využití s náhradou vyplacenou vlastníkovi pozemku. V 19. století se jednalo o běžnou praxi, která byla o desítky let dříve využita k vybudování sítě ulic na Manhattanu. V celé oblasti bylo vysídleno zhruba 1 600 obyvatel. Přestože majitelé pozemků byli odškodněni, mnozí tvrdili, že jejich pozemky byly podhodnoceny. Nakonec se všichni obyvatelé museli do konce roku 1857 vystěhovat. Probíhá výzkum, jehož cílem je zjistit, kam se obyvatelé Seneca Village přestěhovali – někteří mohli odejít do jiných afroamerických komunit v regionu, například do Sandy Ground na Staten Islandu a Skunk Hollow v New Jersey.