Durante su viaje, Caillié tuvo la oportunidad de entrar en “la misteriosa” Tombuctú, a donde llegó el 20 de abril de 1828. Pudo comprobar entonces que era una urbe empobrecida y ruinosa, cuyo esplendor formaba parte de un pasado muy lejano. Como "ciudad santa" del islam africano tenía vetado el acceso a los extranjeros, por lo que se hizo pasar por musulmán, un veterano soldado egipcio que había sido enrolado a la fuerza en las tropas de Napoleón y desde Europa viajaba de retorno a su patria.
“Al fin llegamos felizmente a Tombuctú, en el momento en que el sol tocaba el horizonte. Veía por fin esta capital del Sudán que desde hacía tanto tiempo era el objeto de todos mis deseos. Cuando entraba en esta ciudad misteriosa, meta de las exploraciones de las naciones civilizadas de Europa, me embargó un sentimiento inexpresable de satisfacción. No había sentido nunca una sensación parecida y mi júbilo era extremo. Pero había que reprimir los impulsos del corazón. [...] Recuperado de mi entusiasmo, comprobé que el espectáculo que tenía ante mis ojos no respondía a mis expectativas”.
Tombuctú se encuentra situada al otro lado del desierto del Sáhara, en pleno Sahel, junto al río Níger, si bien no en la misma ribera sino a unos doce kilómetros, y muy lejos de la costa (a más de 2000 km.), una ubicación remota e inaccesible que durante siglos había impedido el conocimiento de la ciudad a los occidentales. Por tal motivo, la Sociedad Geográfica de París había ofrecido un cuantioso premio de 10.000 francos a quien llegara hasta ella. Y, claro está, pudiera volver para contarlo.
El siguiente europeo en acceder a Tombuctú fue el alemán Oskar Lenz (1848-1925), en 1880, cuyo guía e interprete era un malagueño: Cristóbal Benítez, que hablaba árabe y bereber, dos lenguas imprescindibles para desenvolverse en aquellos territorios. Benítez, criado desde niño en Tetuán, se hizo pasar por musulmán y también escribió un libro a su regreso, titulado Mi viaje al interior de África, si bien, en España, no ha gozado del reconocimiento que le corresponde merecidamente.
Caillié permaneció dos semanas en la ciudad, tomando notas que guardaba entre las páginas del Corán, y la abandona uniéndose a una caravana de esclavos que parte hacia Marruecos atravesando el Sahara. Al límite de sus fuerzas, llegó a Fez el 12 de agosto de 1828, donde se vio obligado a dormir en la calle y comer de la caridad pública. Se dirigió después a Rabat, pero las autoridades francesas no le prestaron ayuda y hubo de dormir en el cementerio. Viajó luego a Tánger, siendo mejor acogido por el cónsul francés, quien le proporcionó un pasaje en una nave francesa hasta Toulon.
El 5 de diciembre de 1828 la Societé de Géographie de Paris le entregó los diez mil francos del premio. Posteriormente le otorgaron la Legión de Honor y una pensión vitalicia. En 1830 se publicó su libro Diario de un viaje a Tombuctú y a Yenné, en el África central, pero le tacharon de mentiroso. Más tarde se pudo comprobar la veracidad de su relato.
“Pobre, sin ayuda, sin ciencia, he realizado mi hazaña. He dicho a Europa lo que es Tombuctú. La verdad constituye el único valor de mi crónica y no hay derecho a disputarme este bien adquirido a costa de tantos sufrimientos. Que censuren la imperfección de mi estilo y mi ignorancia aquellos que, en vez de haber estado en Tombuctú, se han perfeccionado en el arte y la ciencia”.
En 1836 quiso regresar a África, pero su mala salud se lo impidió. Caillié falleció de tuberculosis a mediados de mayo de 1838, a los treinta y ocho años de edad -estando ya casado y siendo padre de cuatro hijos-, en Saint Symphorien du Bois, de donde era alcalde.