Julianna Margulies blev født den 8. juni 1966 i Spring Valley (nær New York City) som den yngste af tre døtre af Francesca (Goldberg), en lærer og danser i American Ballet, og Paul Margulies, en reklameforfatter og filosof. Hun er af ashkenazi-jødisk oprindelse (fra Rumænien, Østrig, Ungarn og Rusland). Indtil hun som 14-årig begyndte på gymnasiet i New Hampshire, boede hun flere år med sin familie i Paris og i England. Hun fik en B.A.-grad i liberal kunst fra Sarah Lawrence College, hvor hun medvirkede i flere teaterstykker på campus. Hun arbejdede som servitrice, indtil hun fik sin første rolle som en prostitueret, der forsøger at blive hetero, i Out for Justice (1991). Det tog mere end et år at finde en ny rolle; i den periode lykkedes det hende at forsørge sig selv med flere regionale teaterproduktioner og nationale tv-reklamer. Indtil hun blev fastansat i ER (1994), medvirkede hun som gæstestjerne i flere tv-serier og et pilotprojekt. Siden da har hun medvirket i flere film, bl.a. Ghost Ship (2002), Evelyn (2002) og Snakes on a Plane (2006), og hun har været hovedrolleindehaver i CBS-dramaet The Good Wife (2009), som hun har vundet både en Emmy og en Golden Globe for.