Julianna Margulies werd geboren op 8 juni 1966 in Spring Valley (bij New York City), als jongste van drie dochters van Francesca (Goldberg), een lerares en danseres bij het American Ballet, en Paul Margulies, een reclameschrijver en filosoof. Zij is van Asjkenazisch-Joodse afkomst (uit Roemenië, Oostenrijk, Hongarije en Rusland). Tot ze op 14-jarige leeftijd in New Hampshire naar de middelbare school ging, woonde ze enkele jaren met haar familie in Parijs en in Engeland. Ze behaalde een B.A. in vrije kunsten aan het Sarah Lawrence College, waar ze in verschillende toneelstukken op de campus speelde. Ze werkte als serveerster tot haar eerste rol als prostituee die hetero wil worden in Out for Justice (1991). Het duurde meer dan een jaar om een andere rol te vinden; in die tijd kon ze zichzelf onderhouden met verschillende regionale theaterproducties en nationale tv-reclames. Tot ze een vaste rol kreeg in ER (1994), speelde ze gastrollen in verschillende televisieseries en een pilot. Sindsdien speelde ze in verschillende films, waaronder Ghost Ship (2002), Evelyn (2002), en Snakes on a Plane (2006), en was ze de hoofdrolspeelster in het CBS drama The Good Wife (2009), waarvoor ze zowel een Emmy als een Golden Globe heeft gewonnen.