Pada awal pendiriannya, pondok ini bernama Pesantren Lillah dan Mess Pelajar Putri (MPP). Sekaligus, ini menjadi pesantren putri pertama di Desa Babakan, Kecamatan Ciwaringin, Cirebon. Mendapat sentuhan tangan dua orang kiai, Pesantren Lillah dan MPP mengalami perkembangan menggembirakan. Saat itu, Kiai Asrar yang bukan lain adalah murid dari almaghfurlah KH Sanusi mengamalkan ilmunya di pesantren tersebut. Adapun, KH Muhtadi Syarif turut membantu dari sisi pengajaran dan juga sebagai seorang pedagang dan petani yang ulet. KH Muhtadi tak lain merupakan alumni Pondok Lirboyo, murid dari almaghfurlah KH A Idris Marzuki.
Seperti pesantren salaf pada umumnya, Pesantren Lillah dan MPP menerapkan pengajaran kitab kuning dengan metode sorogan. Metode Sorogan yaitu metode di mana para santri mengaji kitab secara langsung dibimbing oleh gurunya. Gurunya membacakan kitab di hadapan santri, dan kemudian bacaan dan maknaan kitabnya diikuti oleh santri tadi.
Dalam perkembangannya, sekitar tahun 1992, Pesantren Lillah/Mess Pelajar Putri (MPP) berubah nama menjadi Pondok Pesantren Asrarur Rafiah. Pergantian nama ini sebagai penghormatan kepada pelopor dan pendirinya, Kiai Asrar dan Nyai Hj Rafi’ah. Setelah Kiai Asrar dan Nyai Hj Rafi’ah wafat, Kiai Muhtadi-lah yang kemudian meneruskan kepemimpinan Pondok Pesantren Asrarur Rafiah. Pesantren ini tak mengutamakan jumlah santri, melainkan menomorsatukan kualitas pembelajaran kitab kuning.