Nato a New York, Gray è cresciuto nel Queens e ha frequentato la USC School of Cinema-Television, ha debuttato nel 1994 a 25 anni con Little Odessa, un film di grande successo che ha ricevuto il Critics Award al Festival di Deauville e il Leone d'Argento al Festival di Venezia. Nello stesso anno ha ricevuto una nomination agli Independent Spirit Awards per la migliore opera prima e migliore sceneggiatura. Nel 2000 Gray ha scritto e diretto The Yards, il suo secondo lungometraggio e il suo primo film con Joaquin Phoenix, che continuerà a recitare nei suoi prossimi tre film. Il cast includeva Mark Wahlberg, Charlize Theron, Faye Dunaway, Ellen Burstyn e James Caan. Il film drammatico è stato presentato in concorso al Festival di Cannes nel 2000.

Il film thriller I padroni della notte (2007) è interpretato Mark Wahlberg, Joaquin Phoenix, Eva Mendes e Robert Duvall, e ha ricevuto una candidatura ai César per il miglior film straniero ed è stato presentato in concorso al Festival di Cannes 2007. La sua quarta opera, Two Lovers (2008), ha ricevuto le nomination agli Independent Spirit Awards per la miglior regia e miglior protagonista femminile. Nel film recitano Joaquin Phoenix al fianco di Gwyneth Paltrow, Vanessa Shaw e Isabella Rossellini. E' stato presentato in concorso al Festival del Cinema di Cannes 2008 e ha ricevuto una nomination ai César per il miglior film straniero. 

Nel 2013 ha diretto C’era una volta a New York, interpretato dal suo “frequente collaboratore” Joaquin Phoenix, al fianco di Marion Cotillard e Jeremy Renner. Il quarto film di Gray è stato presentato al Festival di Cannes, ha ottenuto numerosi premi tra cui quello di migliore attrice (Marion Cotillard) e miglior fotografia (Darius Khondji) dal New York Film Critics Circle.