Gray s-a născut în New York. Și-a început cariera în 1989, când a apărut fără credit în filmul de comedie satirică Major League. Trei ani mai târziu, a regizat videoclipul pentru „It Was a Good Day” al lui Ice Cube. Videoclipul este o adaptare literală a versurilor. A continuat să regizeze videoclipuri ulterioare pentru Ice Cube, precum și pentru artiști precum Cypress Hill, Outkast, Dr. Dre și Queen Latifah.
La 24 de ani, Gray a regizat primul său film, comedia urbană Friday, împreună cu rapperul și producătorul Ice Cube și Chris Tucker. Apoi a regizat filmul Set It Off, cu Jada Pinkett și Queen Latifah. A continuat cu regia filmului The Negotiator. Filmul i-a avut în rolurile principale pe câștigătorul Premiului Oscar Kevin Spacey și pe nominalizatul la Oscar Samuel L. Jackson, și i-a adus lui Gray atât premiul pentru Cel Mai Bun Film, cât și premiul pentru Cel Mai Bun Regizor la Festivalul de Film Acapulco din 1998.
Gray este cunoscut și pentru The Italian Job, un thriller de acțiune cu câștigătoarea Premiului Oscar Charlize Theron și nominalizatul la Oscar Mark Wahlberg. Gray a obținut premiul pentru Cel Mai Bun Regizor la Festivalul de Film Black American din 2004 pentru munca sa la acest film, care a depășit pragul de 100 de milioane de dolari la box office-ul intern.
Următorul său film a fost A Man Apart, un thriller de acțiune violent cu Vin Diesel. Apoi a regizat Be Cool, o adaptare a romanului cu același nume de Elmore Leonard. Filmul cu John Travolta a fost un eșec critic, dar a încasat 95,2 milioane de dolari la nivel mondial.
Următorul său film a fost thrillerul Law Abiding Citizen, cu câștigătorul Premiului Oscar Jamie Foxx și Gerard Butler. Scris de Kurt Wimmer, a încasat peste 100 de milioane de dolari la nivel mondial.
Gary este, de asemenea, responsabil pentru regizarea multor videoclipuri muzicale. A colaborat cu artiști precum TLC, Dr. Dre, Tupac Shakur, Mary J.