Né le jour de Noël 1907, à Rochester, dans l'état de New York, Cab y est resté jusqu’à l’âge de 10 ans avec sa mère, enseignante, et son père, gestionnaire de bien immobiliers.
Pour retrouver tous les détails sur l'enfance de Cab Calloway, reportez-vous à la notre note sur le premier chapitre de son autobiographie, Of Minnie The Moocher & Me.