Van némi bizonyíték arra, hogy Seneca Village lakosai kerteket műveltek és állatokat tenyésztettek, és a közeli Hudson folyó valószínűleg a közösség halászatának forrása volt. Egy közeli forrás, az úgynevezett Tanner’s Spring biztosította a vízforrást. Az 1850-es évek közepére Seneca Village 50 házból és három templomból, valamint temetkezési helyekből és egy iskolából állt az afroamerikai diákok számára.
Egy virágzó afroamerikai közösség
Az afroamerikaiak számára Seneca Village lehetőséget kínált arra, hogy a sűrűn lakott belvárostól távol, önálló közösségben éljenek. Annak ellenére, hogy New York állam 1827-ben eltörölte a rabszolgaságot, a diszkrimináció még mindig elterjedt volt New York egész területén, és súlyosan korlátozta az afroamerikaiak életét. Seneca Village távoli fekvése valószínűleg menedéket nyújtott ez elől az éghajlat elől. Emellett menekülést is jelenthetett a város egészségtelen és zsúfolt körülményei elől, valamint nagyobb térhez való hozzáférést az otthonon belül és kívül egyaránt.
A New Yorkban élő többi afroamerikaihoz képest Seneca Village lakói stabilabbnak és jómódúbbnak tűntek – 1855-ben körülbelül felüknek volt saját otthona. A tulajdonjoggal együtt más jogok is jártak, amelyekkel a városban élő afroamerikaiak általában nem rendelkeztek – nevezetesen a szavazati jog. 1821-ben New York állam megkövetelte, hogy az afroamerikai férfiaknak legalább 250 dollár értékű ingatlannal kelljen rendelkezniük, és legalább három évig lakhellyel kelljen rendelkezniük ahhoz, hogy szavazhassanak. Az 1845-ben szavazásra jogosult 100 fekete New York-i közül 10 élt Seneca Village-ben.
A tény, hogy sok lakos ingatlantulajdonos volt, ellentmond a 19. század közepén elterjedt tévhitnek, miszerint a parknak szánt területen élő emberek szegény, kunyhókban élő földfoglalók voltak. Míg a lakók egy része kunyhókban és zsúfolt körülmények között élt, a legtöbben kétszintes házakban laktak. A népszámlálási adatok azt mutatják, hogy a lakosok foglalkoztatottak voltak, az afroamerikaiak jellemzően munkásként és szolgáltatói munkakörben dolgoztak, ami akkoriban a fő lehetőség volt számukra. A feljegyzések azt is mutatják, hogy a legtöbb Seneca Village-ben élő gyermek iskolába járt.
A Central Park létrehozása
Az 1850-es évek elején a város egy nagy városi park tervezésébe kezdett, hogy ellensúlyozza az egészségtelen városi körülményeket és teret biztosítson a kikapcsolódásra. 1853-ban New York állam törvényhozása törvényt hozott, amely Manhattanben – az 59. utcától a 106. utcáig, az Ötödik és a Nyolcadik sugárút között – 775 hektárnyi területet különített el, hogy létrehozza az ország első nagy, parkosított közparkját.
A város a földet kisajátítással szerezte meg, vagyis azzal a törvénnyel, amely lehetővé teszi a kormány számára, hogy a földtulajdonosnak fizetett kártérítés ellenében magánterületet vegyen el közhasználatra. Ez a 19. században bevett gyakorlat volt, és már évtizedekkel korábban is alkalmazták Manhattan utcahálózatának megépítéséhez. Nagyjából 1600 lakost kellett kitelepíteni a területről. Bár a földtulajdonosok kártérítést kaptak, sokan azzal érveltek, hogy földjüket alulértékelték. Végül 1857 végéig minden lakosnak el kellett hagynia a területet. Jelenleg kutatások folynak annak megállapítására, hogy Seneca Village lakói hová költöztek – néhányan a régió más afroamerikai közösségeibe, például a Staten Island-i Sandy Groundba és a New Jersey-i Skunk Hollowba költözhettek.