Jimmy Tong travaille comme chauffeur de taxi dans la grande ville de New York. Un jour, il a pour passager le millionnaire Clark Devlin, également agent secret. Ce dernier engage Jimmy comme chauffeur personnel à une condition : que celui-ci ne touche jamais à son smoking.
Se déroulant dans la Nouvelle-Orléans du XIXe siècle, l'histoire dépeint les gens de couleur libre, ou les Peuples Libres de Couleur, une classe éblouissante mais damnée, prise entre le monde des privilèges blancs et l'oppression noire.