Keempat, sistem khilafah mengandaikan bersatunya umat Islam di bawah kekuasaan seorang khilafah. Ini sangat mustahil dengan beberapa pertimbangan. Umat Islam yang kini terpecah-pecah dalam beberapa kelompok baik kelompok teologi atau kelompok fikih mustahil akan sepakat terhadap sebuah konsep khilafah yang diyakini sebuah kelompok, apalagi mengakui seorang khalifah yang mereka tawarkan.
Bagaimanapun juga konsep khilafah berbeda antara satu kelompok dengan kelompok yang lain. Padahal ini baru pada lingkaran kelompok-kelompok Sunni saja dan belum mencakup Syiah yang mempunyai konsep pemerintahan yang sangat berbeda.
Alih-alih kelompok-kelompok tersebut mengakui keabsahan seorang khalifah dari sebuah kelompok, sebuah konsep khilafah dari sebuah kelompok saja bisa dipastikan ditolak mentah-mentah oleh kelompok lain. Tidak ada jaminan sebuah kelompok akan menerima konsep sistem khilafah kelompok lain, apalagi persoalan khilafah bernuansa sangat politis yang dapat menguntungkan sebuah kelompok serta merugikan kelompok lain. Tindakan menguntungkan sebuah kelompok meniscayakan tindakan merugikan kelompok lain, padahal seluruh kelompok tidak ingin dirugikan.
Kelima, umat Islam kini sudah mulai mapan dengan bentuk pemerintahan nation-state. Bila saat ini mereka dipaksa melebur dalam sistem khilafah, maka perselisihan di antara mereka lebih niscaya dari persatuan mereka. Dalam hal ini, seharusnya umat Islam meniru orang Eropa yang memperkuat bentuk nation-state terlebih dahulu kemudian membentuk Uni Eropa sebelum tergesa-gesa mendirikan khilafah. Ini lebih realistis. Kalau tidak, maka cita-cita mendirikan khilafah Islam tidak lebih dari mimpi belaka, apalagi dilihat dari beberapa aspek mayoritas umat Islam saat ini belum siap menerima sistem khilafah.
Mimpi memang bisa diwujudkan sebagai kenyataan, tetapi tidak semudah membalikkan kedua telapak tangan, apalagi pendirian khilafah Islam termasuk mimpi besar. Sebelum mendirikan khilafah Islam, umat Islam harus melalui beberapa langkah; semakin memperkokoh bentuk nation-state, meminimalisasi perselisihan di antara mereka dan mencari titik temunya dengan duduk bersama mendiskusikan konsep khilafah yang akan diterapkan, melepaskan fanatisme kelompok, menghindari nafsu politik yang berlebihan, dan selalu berusaha memahami realitas umat Islam saat ini dan memperjuangkannya terlepas dari perbedaan bendera mereka. Bila langkah-langkah ini tidak ditempuh, maka cita-cita untuk mendirikan khilafah Islam sangat sulit diwujudkan bahkan absurd.
Kesalahan fatal kelompok yang memperjuangkan khilafah seperti Hizbut Tahrir adalah selain tidak melalui langkah-langkah tersebut, pemikiran dan sikap mereka juga terkesan eksklusif. Oleh karena itu, jangankan mendapatkan simpati kelompok lain untuk bersama-sama memperjuangkan khilafah, malah menuai kecaman dari mana-mana.
Mereka bukannya memersatukan umat Islam, tetapi malah membuat umat Islam semakin terpecah-belah. Anehnya, mereka juga sering terlibat dalam perselisihan. Mereka ibarat sekumpulan orang yang mendirikan sebuah kelompok yang bercita-cita memersatukan umat Islam, tetapi mereka tidak sadar bahwa kehadiran kelompok mereka justru akan lebih memperkeruh ketegangan internal umat Islam.
Urgensi khilafah dalam ranah politik Islam sebagai simbol pemersatu kaum Muslimin dan lambang kejayaan umat Islam di masa silam memang benar. Para ulama telah memaparkan pentingnya khilafah serta segala hal yang terkait dengannya dalam kitab-kitab mereka. Tetapi lebih penting dari itu, harus dijelaskan pula bahwa khilafah bukan termasuk rukun iman dan bukan pula rukun Islam.
Hujjatul Islam al-Ghazali berkata: Kajian tentang imamah (khilafah) bukan termasuk hal yang penting. Ia juga bukan termasuk bagian studi ilmu rasional, akan tetapi termasuk bagian dari ilmu fikih (ijtihad ulama). Kemudian masalah imamah berpotensi melahirkan sikap fanatik. Orang yang menghindar dari menyelami soal imamah lebih selamat dari pada yang menyelaminya, meskipun ia menyelaminya dengan benar, dan apalagi ketika salah dalam menyelaminya.