Setelah beberapa lama membantu mengajar di pondok pesantren di Blitar, KH Ihsan Mahin mulai menetap di daerah Ngoro, Jombang. Di Ngoro, KH Ihsan Mahin dikenal sebagai sosok yang menguasai bidang agama, sabar, banyak tirakat, seperti menempa diri dengan puasa, zikir, dan tafakur. Itulah yang kemudian mendorong para pemuda desa setempat untuk menimba ilmu kepada KH Ihsan Mahin di rumah nya.
Seiring berjalannya waktu, nama KH Ihsan Mahin tak hanya dikenal di daerah Jawa Timur, tapi juga di daerah Jawa Tengah. Karena itu, santri pun mulai berdatangan dari Jawa Tengah dan jumlahnya semakin banyak. Para santri akhirnya meminta agar KH Ihsan Mahin membangun pondok pesantren.
Pondok pun mulai dibangun dengan dibantu masyarakat setempat. Bukan hanya tenaga, masyarakat juga membantu berbagai bahan material. Bahkan, keluarga besar KH Ihsan Mahin dan masyarakat harus hidup prihatin selama 40 hari karena hampir semua sumber daya digunakan untuk pembangunan pondok. Namun, pada 1960, dengan cara yang sama, Pondok Pesantren At Tahdzib itu dipindahkan ke Desa Rejoagung, Kecamatan Ngoro, Jombang.
Di tempat baru ini, Pondok Pesantren At Tahdzib mengalami perkembangan yang pesat. Santrinya, yang kini berjumlah lebih dari 1.350 orang, datang dari berbagai daerah di Indonesia. Bahkan ada santri yang berasal dari negara-negara tetangga. Setelah KH Ihsan Mahin wafat, kepengurusan pondok diteruskan oleh keturunannya, di antaranya adalah KH Ahmad Masruh dan KH Ahmad Aniq.