Sepeninggal Nabi Muhammad SAW. kepemimpinan umat islam diamanhkan pada Abu Bakar ra. banyak terjadi gejolak dalam ummat islam kala itu. Gejolak tersebut diantaranya adalah banyaknya jumlah umat islam yang murtad, tidak mau membayar zakat, berkali-kali terjadi peperangan dan sebagainya. Bahkan perang yamamah telah menewaskan 70 orang penghafal Al Qur’an.
Oleh karena Umar bin Khattab khawatir akan gugurnya para sahabat penghafal Al Qur’an yang masih tersisa, maka ia datang kepada Abu Bakaruntuk mendiskusikan masalah ini. Umar berkata kepada Abu Bakar: “Dalam peperangan yamamah para sahabat yang hafal Al Qur’an telah banyak yang gugur, saya khawatir akan gugurnya para sahabat yang lain dalam peperangan selanjutnya, sehingga banyak hal yang menyebabkan ayat Al Qur’an perlu dikumpulkan”.
Abu Bakar menjawab: “mengapa aku harus melakukan sesuatu yang tidak diperbuat oleh Rasulullah?”
Umar menegaskan: “Demi Allah! Ini adalah perbuatan yang baik” . Dan ia berulang kali memberikan alasan-alasan kebaikan mengumpulkan Al Qur’an ini, sehingga Allah membukakan hati Abu Bakar untuk menerima pendapat Umar itu. Kemudian Abu Bakar memanggil Zaid bin Tsabit dan berkata kepadanya : “Umar mengajakku mengumpulkan Al Qur’an” . Lalu diceritakannya segala pembicaraannya yang terjadi antara dia dengan Umar. Kemudian Abu Bakar berkata :”Engkau adalah seorang pemuda yang cerdas yang kupercayai sepenuhnya, dan engkau adalah seorang penulis wahyu yang selalu disuruh oleh Rasulullah. Oleh karena itu, maka kumpulkanlah ayat-ayat Al Qur’an itu”.
Zaid menjawab : “Demi Allah! Ini adalah pekerjaan yang berat bagiku. Seandainya aku diperintahkan untuk memindahkan sebuah bukit, maka hal itu tidaklah lebih berat bagiku daripada mengumpulkan Al Qur’an yang engkau perintahkan itu”. Dan ia berkata selanjutnya kepada Abu Bakar dan Umar :”mengapa kalian melakukan sesuatu yang tidak diperbuat oleh nabi?” Abu Bakar menjawab:”Demi Allah! Ini adalah perbuatan yang baik”. Ia lalu memberikan alasan-alasan kebaikan mengumpulkan ayat-ayat Al Qur’an itu, sehingga membukakan hati Zaid, kemudian ia mengumpulkan ayat-ayat Al Qur’an dari daun, pelepah kurma, batu, tanah keras, tulang unta/kambing dan sahabat-sahabat yang hafal Al Qur’an.
Dalam usaha mengumpulkan ayat-ayat Al Qur’an itu Zaid bin Tsabit bekerja amat teliti. Sekalipun beliau hafal seluruhnya, tetapi untuk kepentingan pengumpulan Al Qur’an yang sangat penting bagi umat islam itu, masih memandang perlu mencocokan hafalan/catatan sahabat-sahabat yang lain dengan disaksikan oleh dua orang saksi.
Dengan demikian Al Qur’an seluruhnya telah ditulis oleh Zaid bin Tsabit dalam lembaran-lembaran, dan diikatnya dengan benar, tersusun menurut urutan ayat-ayatnya sebagaimana yang telah ditetapkan oleh Rasulullah, kemudian diserahkan kepada Abu Bakar. Mushaf ini tetap ditangan Abu Bakar sampai ia meninggal, kemudian dipindahkan ke rumah Umar bin Khattab dan tetap ada disana selama pemerintahannya. Sesudah beliau wafat, Mushaf itu dipindahkan kerumah Hafsah, puteri Umar, isteri Rasulullah sampai masa pengumpulan dan penyusunan Al Qur’an di masa Khalifah Utsman.