Jika dahulu kebanyakan pesantren didirikan di perkampungan yang tradisional, maka bagi Kiai Asyhari Marzuqi justru sebaliknya. Persebaran dakwah dengan pengembangan pesantren juga harus ada di tempat-tempat strategis sehingga tidak ketinggalan perkembangan informasi. Berdasarkan pemikiran tersebut, Kiai Asyhari pun mencari lokasi yang dekat dengan kota untuk mendirikan pesantren, tepatnya di Prenggan, Kotagede, Yogyakarta.
Pada 1986, Pondok Pesantren Nurul Ummah berdiri. Peletakan batu pertamanya dilakukan pada 9 Februari 1986 oleh KH Asyhari Marzuqi, KH Nawawi Ngrukem, dan dihadiri oleh keluarga Krapyak. Tantangan awal usai berdirinya pondok pesantren adalah bagaimana bergaul dan menghadapi masyarakat sekitar. Sebab, jamaknya masyarakat Kotagede yang secara kultur dan organisasi lebih condong ke Muhammadiyah.
Pemberian nama Nurul Ummah merupakan hasil musyawarah. Nama Nurul Ummah yang berarti Cahaya Umat ini dipilih sebagai harapan Pondok Pesantren Nurul Ummah bisa menjadi lembaga pendidikan Islam sebagai tempat mendalami ilmu agama (tafaqquh fiddin), dan mampu memberikan sinar pencerahan yang menerangi dan mengarahkan umat dalam menggapai kebahagiaan dunia dan akhirat (sa’adah fi darayn).
Perjuangan di NU
Sepulang dari Baghdad, Kiai Asyhari juga menempuh jalur struktural untuk mengabdikan diri dalam melestarikan paham Alussunnah wal Jamaah. Beliau mengawali kiprahnya dengan mengasuh rubrik “Kaifa La’alla” di Majalah Bangkit pada 1988. Selain itu, Kiai Asyhari juga melibatkan diri di RMI (Rabithah Ma’ahadil Islamiyyah, jaringan pesantren seluruh Nusantara). Beliau diangkat menjadi Ketua RMI selama satu periode 1988-1992.
Usai menjabat sebagai Ketua RMI, nama serta gaya kepemimpinannya pun semakin dikenal di kalangan nahdliyin. Tidak heran jika kemudian Kiai Asyhari dipilih menjadi Rois Syuriah untuk periode 1992-1997 pada Konferensi Pengurus Wilayah NU DIY ke-9 di Kaliurang pada 9-10 Januari 1993. Kiai Asyhari menjabat Rois Syuriah selama tiga periode, tetapi di tengah mengemban amanat ini beliau wafat sebelum masa khidmatnya berakhir.