Manab lahir pada 1856 di Desa Diyangan, Kawedanan Mertoyudan, Magelang, Jawa Tengah, dari pasangan Kiai Abdur Rahim dan Nyai Salamah. Manab adalah nama kecil KH Abdul Karim, yang merupakan putra ketiga dari empat bersaudara. Kiai Abdur Rahim, ayah Manab, juga seorang petani sekaligus pedagang. Kehidupan keluarga Abdur Rahim sebenarnya berkecukupan. Hanya, setelah sang ayah meninggal, Manab memutuskan untuk mengembara dengan tujuan menuntut ilmu dan ingin meniru kedua kakaknya, yakni Aliman dan Mu`min yang lebih dulu berkelana.
Kharisma dan pengaruh para ulama pengikut Pangeran Diponegoro, seperti Kiai Imam Rofi`i dari Bagelan dan Kiai Hasan Bashori dari Banyumas, menginsiprasi Manab menjadi seorang pendakwah. Beliau tidak ingin hanya menjadi orang biasa. Karena itu, walau hanya anak seorang petani biasa, dia yakin bahwa keturunan sejati adalah keturunan sesudahnya, bukan sebelumnya. Karena, bagi beliau, nasab tidaklah penting. Yang penting adalah ilmu.
Ketika Aliman, kakak Manab, pulang ke Magelang, Aliman bermaksud mengajak Manab yang masih berusia 14 tahun untuk berkelana. Dengan berbekal restu orangtua, Manab akhirnya berangkat ke Jawa Timur. Dalam perjalanannya, keduanya sampai di Dusun Gurah, Kediri. Di dusun inilah Manab pertama kali menimba ilmu. Di susun ini juga keduanya menemukan sebuah surau yang diasuh oleh seorang kiai dan mulai menjadi santri untuk mempelajari ilmu-ilmu dasar seperti ilmu amaliyah –dengan membagi waktu sambil ikut mengetam padi, menjadi buruh warga desa saat panen tiba. Manab menimba ilmu kurang lebih selama enam tahun di Gurah, Kediri.
Setelah dinyatakan lulus oleh kiainya, beliau meneruskan ke Pesantren Trayang, Bangsri, Kertosono, Nganjuk, Jawa Timur. Di pesantren ini beliau memperdalam pengkajian ilmu al-Quran. Lalu beliau melanjutkan pengembaraan ke Pesantren Sono, sebelah timur Sidoarjo, sebuah pesantren yang terkenal dengan ilmu shorof-nya. Tujuh tahun lamanya beliau menuntut ilmu di pesantren ini. Manab menganggap ilmu shorof sangat penting dan dianggap sebagai ibu dari berbagai ilmu.
Setelah menguasai ilmu shorof, beliau kemudian meneruskan pengembaraan di salah satu pesantren besar di Pulau Madura, asuhan ulama kharismatik Syaikhona Kholil Bangkalan. Beliau menuntut ilmu kepada Syaikhona Kholil selama 23 tahun. Saat di Madura, Manab banyak menimba ilmu dan tak jarang menerima berbagai ujian.