Karena penemuan sumber air baru itulah, pondok pesantren yang dirintis KH Istbat ini lebih dikenal dengan nama Pondok Banyuanyar, artinya (sumber) air baru —meskipun memiliki nama resmi Pesantren Darul Ulum Banyuanyar.
KH Istbat mulai merintis Pondok Banyuanyar ini pada 1787. Di atas sebidang tanah gersang nan sempit, Kiai Istbat mendirikan langgar atau musala, yang juga kecil dan sederhana. Di musala inilah Kiai Istbat mulai mengajar mengaji dan mengasuh santri-santri dari daerah setempat. Saat itu, Kiai Istbat dikenal sebagai guru yang sabar, telaten, istikomah, dan zuhud. Sebelum meninggal pada 1868, Kiai Istbat berwasiat kepada keturunannya, agar pada saatnya di tempat itu dibangun pondok pesantren yang memadai agar bisa melahirkan santri yang mampu menjawab tantangan zaman dan tuntutan umat.
Wasiat Kiai Istbat itu memang dijalankan sepenuh hati oleh keturunan-keturunannya. Putra Kiai Istbat, yaitu KH Abdul Hamid meneruskan perjuangan ayahnya hingga 1933. Saat itu, langgaran peninggalan Kiai Istbat sudah mulai dikembangkan menjadi pondok pesantren. Tak hanya santri kalong, santri mukim juga telah berdatangan dari berbagai daerah.
Pondok Banyuanyar mengalami perkembangan pesat saat berada di bawah kepemimpinan KH Abdul Majid bin Abdul Hamid, cucu dari Kiai Istbat. Di bawah asuhan Kiai Majid, banyak dilakukan pembangunan sarana dan prasana pendidikan santri. Jumlah santri pun kian banyak, datang dari berbagai daerah di luar Pulau Madura. Banyak santri Pondok Banyuanyar di bawah asuhan Kiai Majid ini yang kemudian menjadi ulama besar, seperti KH As’ad Samsul Arifin (Pengasuh Pondok Pesantren Syafi’iyah Salafiyah Asembagus, Situbondo), KH Shaleh (Pengasuh Pondok Pesantren Suger, Jember), dan KH Zaini Mun’im (Pengasuh Pondok Pesantren Nurul Jadid Paiton, Probolinggo).
Namun, saat itulah, pada 1943, Kiai Majid justru merintis dan membina pondok pesantren yang baru, yang sekarang dikenal dengan nama Mambaul Ulum Bata-Bata berlokasi di Desa Panaan, Kecamatan Palengaan, kurang lebih 2 km ke arah selatan dari Pondok Banyuanyar. Saat itu, kepemimpinan pondok diserahkan kepada putranya yang tertua, KH Abdul Hamid Bakir.
Tetapi, saat itu KH Abdul Hamid Bakir tidak bisa selalu berada di Pondok Banyuanyar. Kiai Hamid Bakir lebih sering berada di Pulau Jawa, ikut aktif i berjuang melawan Belanda di daerah Jember dan Banyuwangi. Karena itu, urusan pembinaan dan kepemimpinan pondok diserahkan kepada KH Baidawi, adik kandung Kiai Majid, pamannya sendiri.