На 22-м году своего правления аль-Мансур отправился в паломничество в Мекку и скончался от оспы, едва добравшись до святой земли. Он был погребен в Мекке с открытым лицом, поскольку в это время «был в ихраме», то есть совершал хадж. Перед смертью халиф успел составить завещание, сделанное, как он написал, «в мой последний день в этом мире и первый — в следующем». Согласно его воле власть унаследовал его сын аль-Махди. Раби ибн Юнус, управляющий халифским двором, скрыл смерть халифа: он посадил его труп за тонкой занавеской и вызвал военачальников и старейшин, чтобы они принесли присягу аль-Махди в присутствии еще «живого» повелителя. Только после этого Раби объявил о смерти аль-Мансура и разрешил рыдать его женам.

После смерти аль-Мансура в государственной казне осталась огромная сумма — четырнадцать миллионов золотых динаров.

Оставил он и другое, более своеобразное «наследство». Перед отъездом в Мекку аль-Мансур передал дворцовые ключи жене своего сына Рите. Показав ей один из ключей и дверь, которую тот открывал, халиф взял с нее слово, что в эту комнату не войдет никто, кроме нее и ее мужа, и то только после его смерти. Когда он умер, Рита вошла в комнату и увидела засушенные мумии всех членов рода Али, убитых после воцарения Аббасидов: там были взрослые мужчины, подростки, старики и дети. На ухе у каждого висела бирка с указанием имени и степени родства. Сын халифа приказал тайно похоронить их в общей могиле, а сверху построить тюрьму.