Diriwayatkan bahawa Allah telah menjadikan tapak Kaabah itu disokong dengan empat tiang daripada air 2000 tahun sebelum Dia menciptakan dunia ini dan Dia telah membentangkan bumi dari bawah Kaabah. Tiang Kaabah itu panjangnya sehingga lapisan bumi yang ke tujuh.
Di setiap tujuh langit ada rumah Allah tempat para malaikat beribadat padaNya dan pada langit ke tujuh nama rumah Allah itu adalah Baitul Makmur. Rasulullah bersabda, “Baitul Makmur adalah masjid yang berada di langit dan ia betul-betul di atas Kaabah. Seandainya ia jatuh maka ia akan menghempap Kaabah”.
Sebelum Baitul Makmur dicipta, para malaikat tawaf mengelilingi Arasy pada masa yang sangat lama. Allah memandang mereka kemudian menurunkan rahmat kepada mereka. Allah membina sebuah rumah di bawah Arasy yang diberi nama Baitul Makmur. Allah memerintahkan para Malaikat supaya tawaf di Baitul Makmur dan tinggalkan Arasy. Para malaikat telah melakukan tawaf di Baitul Makmur sehingga jumlah yang memasukinya siang dan malam seramai 70,000 malaikat. Mereka tidak kembali lagi buat selama-lama.
Kemudian Allah mengutuskan para malaikat turun ke bumi dan berfirman kepada mereka, “Binalah sebuah rumah untukKu di bumi sepertinya”. Allah memerintah seluruh makhlukNya di bumi supaya tawaf mengelilingi Kaabah sebagaimana penghuni langit tawaf mengelilingi Baitul Makmur. Diriwayatkan bahawa Allah telah mengutuskan Jibril kepada Nabi Adam serta Hawa supaya membina satu rumah untukNya. Jibril telah menggariskan (rangka) kepada keduanya lalu Nabi Adam menggali tanah manakala Hawa mengangkutnya sehinggalah air menyahut serta menyeru dari bawah beliau meminta agar berhenti menggali dengan kata-kata, “Cukuplah wahai Adam!”
Setelah Nabi Adam wafat, anak-anaknya telah membina Kaabah dengan menggunakan tanah dan batu. Diriwayatkan bahawa orang yang membinanya ialah anak Nabi Adam iaitu Nabi Syith. Mereka sentiasa mendiami dan memakmurkan Baitullah dan begitulah juga dengan orang-orang yang selepas mereka sehinggalah tiba zaman Nabi Nuh, Kaabah telah runtuh dan kawasan tersebut ditenggelami air serta tidak dapat dikesani.
Kemudian Allah mengutuskan Nabi Ibrahim untuk membina kembali Kaabah. Mematuhi perintah Allah itu, Nabi Ibrahim dan anaknya, Nabi Ismail membina semula Kaabah di atas timbunan batu dan tanah liat daripada bekas binaan Kaabah yang pernah dibuat oleh Syith yang runtuh akibat banjir dan taufan pada zaman Nabi Nuh itu. Pembinaan Kaabah oleh Nabi Ibrahim daripada batu dari tujuh bukit di sekitar kota Mekah. Binaan Kaabah kali ini mempunyai dua sudut utama iaitu sudut Rukun Al-Hajarul Aswad dan Rukun Yamani dan satu sudut berbentuk melengkung pada bahagian yang bertentangan dengan kedua-dua sudut.
Ciri-ciri binaan yang telah dibina oleh Nabi Ibrahim:
- Tingginya 9 hasta.
- Panjang di paras bumi dari Hajarul Aswad hingga ke penjuru sebelah Syam 32 hasta.
- Lebar di sebelah bahagian saluran air bermula dari penjuru Syam hingga ke penjuru sebelah barat 22 hasta.
- Panjang di paras bumi bermula dari penjuru sebelah barat hingga ke penjuru sebelah Yaman 31 hasta.
- Lebar di paras bumi bermula dari penjuru sebelah Yaman hingga ke Hajarul Aswad 20 hasta.
Selepas pembinaan Kaabah oleh Nabi Ibrahim, ia terus berdiri megah di bumi Allah dan tidak akan runtuh sehingga hari Kiamat. Namun usaha membaik pulih dan menyelenggarakan Kaabah tetap diteruskan sehingga sekarang. Berikut adalah rumusan sejarah pembinaan Kaabah.
- Binaan pertama: Malaikat
- Binaan kedua: Nabi Adam
- Binaan ketiga: Nabi Syith
- Binaan keempat: Nabi Ibrahim
- Binaan kelima: Kaum Amaliqah
- Binaan keenam: Kaum Jurhum
- Binaan ketujuh: Qusai bin Kilab (Abad keempat Masihi)
- Binaan kelapan: Abdul Mutalib
- Binaan kesembilan: Kaum Quraisy (Tahun 605 Masihi ketika Rasulullah berusia 35 tahun)
- Binaan ke-10: Abdullah ibnu Zubair (Tahun 64 hijrah)
- Binaan ke-11: Hajjaj bin Yusuf al-Thaqafi (Tahun 74 hijrah/693 Masihi)
- Binaan ke-12: Sultan Murad Khan (Tahun 1040 hijrah/1630 masihi)