Nel corso della sua lunga e travagliata carriera, nel 1966 Baker sparì dalla scena a causa di gravi problemi ai denti anteriori, che dovette farsi estrarre.
La causa di questi problemi non è mai stata completamente chiarita.
Baker raccontò spesso di essere finito in una rissa dopo un concerto e di essere stato aggredito da alcuni uomini di colore che gli avevano spaccato una bottiglia in faccia, lacerandogli le labbra e danneggiandogli i denti anteriori.
La veridicità di questo racconto è sempre stata dubbia: molti amici e conoscenti parlarono di un confronto con uno spacciatore dovuto a problemi di pagamento di una fornitura di droga, di cui Chet era completamente dipendente.
Pare anche che l'uso dell'eroina avesse già lasciato il segno sulla sua dentatura.
È comunque certo che dovette farsi estrarre i denti perché non riusciva più a suonare a causa del dolore che gli provocavano.
Dopo qualche tempo, comunque, Dizzy Gillespie lo riconobbe nel commesso di una pompa di benzina e lo aiutò a rimettersi in sesto, facendogli anche trovare i soldi per sistemarsi la bocca.
Baker dovette imparare a suonare la tromba con la dentiera, cosa considerata estremamente difficile, e il suo stile dovette adeguarsi.
