Habib Abu Bakar bin Muhammad bin Umar bin Abu Bakar bin Imam Wadi al-Ahkaf al-Habib Umar bin Saggaf Assegaf lahir di kota Besuki, Jawa timur, pada tanggal 16 dzul-Hijjah 1285 H. beliau kemudian dibawa ayahnya pindah ke Gresik. Tak lama setelah tinggal di kota itu, ayahnya meninggal dunia. Mendengar berita ini, neneknya yang sholihah di Hadramaut; Fathimah binti Abdullah ‘Allan meminta agar Abu Bakar kecil dikirimkan ke Hadramaut.
Pada tahun 1293 H, Habib Abu Bakar berangkat ke Hadramaut dalam usia 8 tahun ditemani seorang shaleh dari kenalan keluarganya yang bernama Syekh Muhammad Bazmul. Kedatangannya di Seiwun disambut oleh paman, yang sekaligus gurunya, Habib Abdullah bin Umar Assegaf. Kemudian beliau tinggal bersama Habib Syekh bin Umar bin Saggaf as-Saggaf.
Di samping belajar dari dua orang ‘alim di atas, beliau juga belajar kepada ulama Seiwun yang lain seperti :
• Habib Idrus bin Umar al-Habsyi
• Habib Ali bin Muhammad al-Habsyi
• Habib Muhammad bin ali al-Habsyi
• Habib Ahmad bin Hasan al-Aththas
• Habib Abdurrahman al-Masyhur
• Habib Syekh bin Idrus al-Aydrus