Nampaknya situasi poitik membuat Syekh Abdul Majid gelisah, mengingat ia memiliki pengaruh di Jambi. Pada tahun yang sama dengan gugurnya Sultan Taha, ia kembali ke Mekkah. Konon, menurut satu cerita, mulanya ia hendak pergi ke Turki untuk menyampaikan surat Sultan Taha kepada Khalifah di Turki. Namun, gerakan tersebut diketahui Belanda sehingga ia mengubah haluan ke Mekkah.
Selama di Mekah ia kembali aktif di dunia mengajar dan mendapat izin mengajar di salah satu sudut di Masjid Al-Haram. Beberapa muridnya ketika mengajar di Langgar Putih sekarang juga ada di Mekkah, termasuk anaknya yang bernama Ibrahim. Ia langsung menjadi induk semang bagi pelajar Jambi di Mekkah. Kepadanyalah pelajar Jambi mengadu jika mendapat masalah selama di Mekkah.
Sekitar tahun 1911, ia berencana berziarah ke makam Syekh Abdul Qadir Al-Jailani di Irak. Ibrahim setia menemani ke mana saja ayahnya pergi. Setelah selesai beziarah ke makam Syekh Abdul Qadir Al-Jailani, mereka berdua berniat untuk kembali ke Jambi. Namun, di tengah perjalanan, di atas kapal sekitar Laut Merah, Syekh Abdul Majid jatuh sakit dan wafat ketika itu juga. Jenazahnya kemudian dimakamkan di Laut Merah.
Ketika itu, istri Ibrahim sedang hamil. Untuk mengenang peristiwa itu, Ibrahim memberikan anaknya nama yang sama dengan Syekh Abdul Qadir Al-Jailani, yaitu Abdul Kadir.
Setiba di Jambi, Ibrahim dan murid-murid Syekh Abdul Majid Jambi yang lain mendirikan madrasah yang bernama Nurul Iman. Ia kemudian dikenal sebagai Guru Ibrahim. Di sinilah Tuan Guru Abdul Kadir belajar agama hingga ia menjadi ulama besar di Jambi.