Dalam rangka semakin menunjang keilmuan cucunya, sang kakek KH Ali Yafie kemudian memberikan warisan berupa kitab, terutama mengenai fikih dan hukum. Warisan kitab inilah yang kemudian berperan dalam membentuk khazanah intelektual KH Ali Yafie.
Sementara ayahnya, memerintahkan untuk menimba ilmu pada kiai terkenal di Sulawesi. Mereka adalah Syaikh Ali Mathar (Rappang), Syaikh Haji Ibrahim (Sidrap), Syaikh Mahmud Abdul Jawad (Bone), Syaikh As’ad (Sengkang), Syaikh Ahmad Bone (Ujungpandang), dan Syaikh Abdurrahman Firdaus (Jampue-Pinrang).
Dari sekian ulama yang memiliki pengaruh signifikan bagi KH Ali Yafie adalah Syaikh Abdurrahman Firdaus, seorang ulama pengembara dari Mekkah. Pada ulama ini, KH Ali Yafie belajar banyak hal. Dimulai ilmu fikih, tafsir, hingga sastra Arab. Dari ulama ini pula diperoleh banyak informasi tentang tokoh dan isu-isu gerakan pembaruan dalam Islam yang kala itu lagi marak di Mesir.
Pada akhirnya, KH Ali Yafie adalah sosok tokoh yang bentuk dan struktur dasar intelektualnya dirajut oleh terpaan para guru. Sifat KH Ali Yafie tertanam kehasratan untuk selalu jadi musafir pencari ilmu. Pengembaraan keilmuan yang dilakukan membawa pengaruh bagi cara pandang dirinya, termasuk dalam mengilhami gagasan fikih sosial.
Menggagas Fikih Sosial
Fikih sosial yang digagas KH Ali Yafie berpangkal adanya ketimpangan realitas. Yaitu, ilmu fikih yang seyogianya mencerahkan kebutuhan umat. Namun, ia justru stagnan, kaku, dan sifatnya masih melangit. Perkembangan zaman bergulir semakin runyam penuh sengkarut problematik. Karena itu, rekonstruksi ke arah fikih sosial dimaksudkan agar kajian fikih berjalan selaras dengan kepentingan umat secara universal. Tentunya nuansanya juga lebih kontekstual, adaptabilitas, dan membawa kemaslahatan.
Kemaslahatan universal dan tuntutan zaman merupakan kata kunci yang dikembangkan dalam gagasan fikih sosial KH Ali Yafie. Hal itu kemudian berimplikasi pada pemberdayaan hak manusia (huquq insaniyah). Dalam pandangan KH Ali Yafie, kemaslahatan dikenal dalam ajaran fikih sebagai prinsip dasar yang menjiwai seluruh ajaran tersebut secara terperinci. Sebab pada hakikatnya, ia merupakan pengejawantahan dari sendi dasar rahmat yang melandasi dan menandai syariat.