Syeikh Baqir lahir di Yogyakarta pada 1888 M dari pasangan KH Muhammad Nur dengan Nayi Lurah Nur. Nama lengkapnya Muhammad Baqir. Perlu kita ketahui bahwa tahun kelahiran Syeikh Baqir bertepatan dengan peristiwa Pemberontakkan Petani Banten terhadap Belanda. Pemberontakan ini mengakibatkan tentara Belanda banyak yang tewas, dan menyebabkan Belanda mengutus Snock Hurgoronje untuk menyelidiki kekuatan apa di balik pemerontakan Petani Banten ini. Sebab, sebelumnya mereka sudah terauma dengan Perang Diponegoro (Perang Jawa). Setelah diselidiki, usut punya usut, ternyata kekuatan utama mereka berasal dari ulama, baik yang ada di Nusantara maupun di Haramain.
Selisih satu tahun dari kelahiran Syeikh Baqir, yaitu sekitar tahun 1889 M, kakek Syeikh Baqir, yaitu Syeikh Muhammad Fadil menjalin hubungan keluarga dengan Kiai Abu Bakar dari Kauman. Mereka menikahkan KH Ahmad Dahlan bin KH Abu Bakar dengan Nyai Siti Walidah binti Syaikh Muhammad Fadhil.
Kiai Ahmad Dahlan sendiri merupakan adik dari Nyai Lurah Nur (Ibu Syeikh Baqir), sedangkan Siti Walidah adalah adik dari Kiai Muhammad Nur (Ayah Syaikh Baqir). Dengan demikian, Syeikh Baqir merupakan keponakan dari KH Ahmad Dahlan. Bisa dibilang bahwa pernikahan KH Ahmad Dahlan dengan Siti Walidah ini masih ada hubungan darah. Hal semacam ini sudah menjadi tradisi di Kampung Kauman Yogyakarta.
Syeih Baqir Al-Jogjawi terlahir dari keluarga trah bangsawan dan ulama. Tinggal di kampung santri Kauman, sejak kecil Syeih Baqir sudah mendapatkan pendidikan agama dari ulama-ulama sekitar kampung Kauman. Syeikh Baqir kecil banyak mendapatkan bimbingan membaca Al-Qur’an kemudian memahami kitab-kitab turats dengan baik. Selain itu, Syeih Baqir juga belajar nulis huruf Arab Pegon atau huruf Jawi, juga ilmu nahu saraf. Kepintaran Syeikh Baqir sudah tampak sejak kecil. Hal ini dibuktikan dengan ilmu-ilmu yang diajarkan oleh ayah dan kedua kakeknya yang secara cepat diserap oleh Syeikh Baqir.
Tiga tahun setelah Syeikh Baqir Al-Jogjawi lahir, tepatnya tahun 1890 M, Kiai Muhammad Nur mengajaknya beribadah haji. Hal seperti ini lazim dilakukan oleh orang zaman dulu, salah satunya Kiai Mustofa Rembang yang mengajak haji istri dan anak-anaknya yang masih kecil. Setelah kembali ke kampung halaman, Syeikh Baqir semakin tampak keilmuan dan kealimannya.