Joe Louis hatte nach seinem K.O.-Sieg in der elften Runde im zweiten Kampf gegen Jersey Joe Walcott am 25. Juni 1948 nicht mehr geboxt und seinen Titel verteidigt. Im März 1950 erklärte er dann seinen Rücktritt vom Boxen.

Im Mai 1950 schloss die US-Steuerbehörde IRS eine vollständige Prüfung der Steuererklärungen von Louis ab und gab bekannt, dass er der Regierung mit Zinsen und Strafen mehr als 500.000 US-Dollar schuldete. Daraufhin hatte Louis keine andere Wahl, als in den Ring zurückzukehren. Das Louis-Lager handelte mit der IRS einen Deal aus, wonach Louis aus dem Ruhestand zurückkehren würde, wobei alle Nettoeinnahmen von Louis an die IRS gehen würden.

Ein Kampf gegen Ezzard Charles, der im Juni 1949 den vakanten Schwergewichtstitel durch Punktsieg gegen Walcott errungen hatte, wurde für den 27. September 1950 angesetzt. Zu diesem Zeitpunkt war Joe Louis bereits 36 Jahre alt und hatte seit zwei Jahren nicht mehr geboxt.

Ezzard Charles gewann dann auch den Kampf durch einstimmige Entscheidung nach 15 Runden.

Louis war immer noch stark, aber seine Reflexe waren nicht mehr da und Charles schlug ihn wiederholt vor seinem eigenen Schlag. Am Ende des Kampfes hatte Louis Platzwunden über beiden Augen, von denen eines fast zugeschwollen war. Louis wusste, dass er verloren hatte, noch bevor Charles zum Sieger erklärt wurde.