On joitakin todisteita siitä, että asukkailla oli Seneca Villagessa puutarhoja ja he kasvattivat karjaa, ja läheinen Hudson-joki oli yhteisön todennäköinen kalastuslähde. Lähistöllä sijaitseva lähde, joka tunnettiin nimellä Tanner’s Spring, tarjosi vesilähteen. 1850-luvun puoliväliin mennessä Seneca Village käsitti 50 taloa ja kolme kirkkoa sekä hautausmaat ja koulun afroamerikkalaisille oppilaille.
Kukoistava afroamerikkalaisyhteisö
Afrikanamerikkalaisille Seneca Village tarjosi mahdollisuuden asua itsenäisessä yhteisössä kaukana tiheästi asutusta keskustasta. Huolimatta siitä, että New Yorkin osavaltio lakkautti orjuuden vuonna 1827, syrjintä oli edelleen yleistä kaikkialla New Yorkissa ja rajoitti vakavasti afroamerikkalaisten elämää. Seneca Villagen syrjäinen sijainti tarjosi todennäköisesti turvapaikan tätä ilmapiiriä vastaan. Se olisi myös tarjonnut pakopaikan kaupungin epäterveellisistä ja ahtaista oloista ja mahdollisuuden käyttää enemmän tilaa sekä kodin sisällä että sen ulkopuolella.
Verrattuna muihin New Yorkissa asuneisiin afroamerikkalaisiin Seneca Villagen asukkaat näyttävät olleen vakaampia ja vauraampia – vuonna 1855 noin puolet heistä omisti oman kodin. Omaisuuden omistamisen myötä tuli muita oikeuksia, joita afroamerikkalaisilla ei yleisesti ollut kaupungissa – nimittäin äänioikeus. Vuonna 1821 New Yorkin osavaltio edellytti, että afroamerikkalaisten miesten oli omistettava vähintään 250 dollarin arvosta omaisuutta ja asuttava maassa vähintään kolme vuotta voidakseen äänestää. Vuonna 1845 äänioikeutetuista sadasta New Yorkin mustasta asukkaasta 10 asui Seneca Villagessa.
Se, että monet asukkaat olivat kiinteistönomistajia, on ristiriidassa joidenkin 1800-luvun puolivälissä vallinneiden virheellisten käsitysten kanssa, joiden mukaan puistoksi kaavailtujen alueiden asukkaat olivat köyhiä, hökkelihökkeleissä asuvia talonvaltaajia. Vaikka jotkut asukkaat asuivat hökkeleissä ja ahtaissa oloissa, useimmat asuivat kaksikerroksisissa taloissa. Väestölaskentatiedot osoittavat, että asukkaat olivat työssäkäyviä, ja afroamerikkalaiset työskentelivät tyypillisesti työläisinä ja palvelualan töissä, jotka olivat heille tuohon aikaan tärkeimmät vaihtoehdot. Arkistot osoittavat myös, että suurin osa Seneca Villagessa asuvista lapsista kävi koulua.
Central Parkin perustaminen
Vuoden 1850-luvun alkupuolella kaupunki alkoi suunnitella suurta kunnallista puistoa, jolla pyrittiin torjumaan kaupunkien epäterveellisiä olosuhteita ja tarjoamaan tilaa virkistykseen. Vuonna 1853 New Yorkin osavaltion lainsäätäjä sääti lain, jolla varattiin 775 hehtaaria maata Manhattanilla – 59th Streetiltä 106th Streetille, Fifth Avenuen ja Eighth Avenuen väliin – maan ensimmäisen suuren maisemoidun julkisen puiston luomiseksi.
Kaupunki hankki maa-alueen pakkolunastuksen (eminent domain) avulla, mikä on laki, jonka mukaan valtio saa ottaa yksityistä maata julkiseen käyttöön maksamalla korvauksen maanomistajalle. Tämä oli yleinen käytäntö 1800-luvulla, ja sitä oli käytetty Manhattanin katuverkon rakentamiseen vuosikymmeniä aiemmin. Noin 1 600 asukasta joutui siirtymään pois koko alueelta. Vaikka maanomistajille maksettiin korvauksia, monet väittivät, että heidän maansa oli aliarvostettu. Lopulta kaikkien asukkaiden oli lähdettävä vuoden 1857 loppuun mennessä. Parhaillaan tehdään tutkimuksia sen selvittämiseksi, minne Seneca Villagen asukkaat muuttivat – osa heistä on saattanut siirtyä alueen muihin afroamerikkalaisyhteisöihin, kuten Sandy Groundiin Staten Islandilla ja Skunk Hollowiin New Jerseyssä.