Sebagaimana kita katakana tadi bahwa Syekh Mukhtar yang memiliki nama kecil Yakub Harahap tersebut belajar menimba ilmu ke Langkat-Kedah-Makkah. Untuk sementara, dapat kita simpulkan bahwa pendirian awalnya adalah untuk belajar ilmu-ilmu esoterik atau tasawuf Naqsabandiyah. Oleh karenanya, di bawah pimpinan Syekh Mukhtar, pondok persulukan atau pesantren dewasa adalah “core-bussiness” dari pondok ini. Pembelajaran untuk kelas dewasa ini dilaksanakan dengan sistem sorogan.
Syekh Mukhtar Wafat
Pada sebuah waktu menjelang subuh ketika membersihkan diri di sungai Batang Pane, seekor buaya tiba-tiba muncul dan menyerang Syekh Mukhtar Harahap. Beliau meninggal pada usia 50 tahun. Ia meninggalkan dua putra yang masih di bawah umur; Zaharuddin Harahap (15 tahun ketika Syekh meninggal) dan Qomaruzzaman Harahap (5 tahun ketika Syekh meninggal).
Berdasarkan umur, Zaharuddin Harahap belum layak dan belum mampu memimpin pesantren. Oleh karena itu, pucuk pimpinan pesantren diserahkan kepada pengajar senior pesantren, yaitu Musthafa Buya Siregar (1948-1953). Beliau diberi mandat untuk mempersiapkan anak-anak syekh untuk memimpin pada saat yang tepat. Setelah itu, Zaharuddin Harahap memimpin pesantren dari tahun 1958-2000.
Terdapat beberapa penyesuaian yang dilakukan untuk menjawab tantangan zaman. Kurikulum pesantren disesuaikan dengan sistem pendidikan yang nasional yang berlaku, terutama pada tahun 1990-2000. Para siswa harus mendapat porsi pendidikan umum yang proporsional agar dapat melanjutkan pendidikan ke jenjang yang lebih tinggi seperti IAIN.