Selain dikenal sebagai kota pelajar, Yogyakarta juga memiliki banyak pondok pesantren. Salah satunya adalah Pondok Pesantren Nurul Ummah yang terletak di daerah Kotagede. Pendirinya adalah KH Asyhari Marzuqi, yang merupakan santri dari KH M Moenawir Krapyak, kiai dari pesantren legendaris yang melahirkan banyak ulama terkemuka di Nusantara.
KH Asyhari Marzuqi lahir dari pasangan KH Ahmad Marzuqi Romli (kiai berpengaruh di Giriloyo) dan Nyai Danisah (putri bungsu dari Mbah Harjo Sentono Giriloyo). Giriloyo merupakan dusun yang terletak di kaki perbukitan Imogiri. Masyarakat sekitar lebih mengenalnya dengan nama Pajimatan, suatu bukit di daerah kawasan selatan Yogyakarta. Daerah ini terkenal karena di sanalah raja-raja Mataran Islam dimakamkan.
KH Asyhari Marzuqi dilahirkan di Dusun Giriloyo, Wukirsari, Imogiri, Bantul, Yogyakarta. Catatan kelahirannya tidak diketahui secara pasti. Namun, ayahnya, KH Ahmad Marzuqi, berujar kepada Asyhari kecil bahwa ia lahir pada masa Jepang memasuki Yogyakarta, sekitar awal tahun 1940-an.
Asyhari kecil mendapatkan pendidikan langsung dari kedua orang tuanya. Sejak kecil sudah akrab dengan pendidikan keagamaan, sebab kakek dan ayahnya adalah pengasuh pondok pesantren di desanya.
Masa kecilnya dihabiskan di Imogiri bersamaan dengan masa pendudukan Belanda di Indonesia. Ketika usia 7 tahun, yakni sekitar 1947, Asyhari masuk Sekolah Rakyat di Singosaren. Kemudian, ketika sudah kelas 2, pindah ke Imogiri pada 1948. Tahun 1948-1950 sempat kembali lagi ke Singosaren karena suasana yang sangat mencekam. Sebab, saat itu bersamaan dengan pendudukan kembali Belanda di Indonesia. Ketika suasana mereda, sekolah dipindahkan lagi ke Imogiri hingga tamat dari Sekolah Rakyat di kampungnya pada 1955.
Setelah tamat Sekolah Rakyat, Asyhari muda kemudian dipondokkan oleh ayahnya ke Pesantren Krapyak. Ia sempat bingung menentukan pilihan antara penguasaan kitab kuning dan hafalan Al-Quran. Tetapi, keputusan kemudian diambil setelah mendengarkan dawuh dari KH Ali Ma’shum. Demikian kira-kira wejangan KH Ali Ma’shum:
“Nek kowe nguasai kitab lan tafsir, mongko Al-Qurane arep melu. Tapi, nek ngapalna Al-Quran, durung tentu kitab lan tafsire mbok kuasai” (Jika kamu menguasai kitab dan tafsir, maka Al-Quran akan serta merta ikut. Tapi, jika hanya menghafalkan Al-Quran, belum tentu kitab dan tafsirnya kamu mampu menguasainya).