Шмелинг е роден на 28 септември 1905 година во малото гратче Клајн Луков во денешната провинција Брандебург.
Тој се заинтересирал за бокс откако гледал филм за овој спорт. Кариерата ја започнал во 1923 година, а следната година станал шампион на аматери во лесна категорија. На 12 јуни 1930 година, тој станал првиот Германец и Европјанин што ја освоил светската титула, кога го победил Џек Шарки.
Американскиот боксер бил дисквалификуван во 12-та рунда поради нискиот удар по што Шмелинг паднал во рингот. Потоа следуваа порази од Макс Бер и Стив Хамас, и веќе не сметале на него.
Шмелинг, сепак, се врати во форма, ги победил и двајцата и се здобил со право да го предизвика неприкосновениот Луис. Американскиот шампион дотогаш имал добиено 27 борби и го сметале за непобедлив. Борбите со Луис го направиле Шмелинг инструмент на нацистичка Германија во медиумското соочување со Соединетите држави пред Втората светска војна.
Шмелинг влегол во рингот како апсолутен аутсајдер, со официјален коефициент проценет на 10: 1, но направил едно од најголемите изненадувања во историјата на боксот. Го нокаутира Луис со десната рака, на 9 јуни 1936 година, и замолкна 60.000 гледачи во Њујорк.
Нацистичкиот режим ја прогласи таа победа за симбол на „ариевската надмоќ“. Иако често го користеле во пропагандни цели, Шмелинг не бил нацист, а неговиот тренер бил Евреин. Луис ја вратил титулата следната година со победа над Џејмс Брадок, но изјавил дека не би се сметал за шампион додека не го победи Шмелинг.
Тоа се случило 1938 година, кога Луис извојувал победа со нокаут во првата рунда, а Шмелинг бил виден во Америка како симбол на нацистичка Германија.
Борбата била прикажана во САД како судир на доброто и злото, а американскиот претседател Френклин Рузвелт дури го поканил Луис во Белата куќа и побара да го победи Шмелинг.
“Кога размислувам за тоа сега, скоро ми е драго што изгубив. Замислете како ќе беше ако победев и се вратев во Германија како победник. Нацистите ќе ми дадоа медал иако немав ништо со нив, а по војната можеби ќе бев прогласен за воен злосторник“, рече Шмелинг во 1975 година.
После тој пораз, нацистите се оградија од Шмелинг. Бил регрутиран 1940 година како падобранец, а една година подоцна бил сериозно ранет и лежел долго во болница. И покрај тоа што бил презентиран како алатка на нацистите, Шмелинг честопати се судирал со владејачкиот режим на тогашна Германија.
Иако ручал со Адолф Хитлер и имал неколку долги разговори со министерот за информации Јозеф Гебелс, тој во 1935 година првпат ги налути нацистите кога одбил да го отпушти тренерот Џо Џејкобс, инаку американски Евреин, и да се разведе од филмската ѕвезда Ана Ондра, родено во Чешка.
За време на Олимписките игри во 1936 година, Хитлерму ветил на Шмелинг дека германските спортисти ќе бидат заштитени. Но за време на Кристалната ноќ, кога нацистите палеле книги и синагоги, тој кај себе скрил две еврејски момчиња. Наводно, Шмелинг го искористил своето влијание за да ги спаси своите еврејски пријатели од концентрациони логори.
По војната, Шмелинг тешко преживувал и бил принуден да се врати на рингот. Се бореше уште пет пати пред да биде поразен во 10-та рунда 1948 година од Валтер Нојсел.
После тоа, тој се повлекол на 43-годишна возраст и скор од 56-10-4, со 39 нокаута. Шмелинг ги искористил парите да купи лиценца од компанијата „Кока Кола“ во Германија и успеал да се збогати. Покрај тоа, тој ги користел своето име и популарноста на пазарот, и покрај проблемите со нацистите.
Со текот на годините, германскиот великан се грижел и го ценел своето пријателство со Луис на кој неколку пати му помогнал затоа што несреќно останал без пари. Неговата големина ја покажал и кога го платил погребот на Луис во 1981 година.
За време на неговите последни години, Шмелинг поминувал време гледајќи телевизија во неговиот дом во Холенштат близу Хамбург. Долгиот живот го припишува на среќниот брак.
