Drs. KH. Ahmad Rifai Arief (ALM)

K.H. Ahmad Rifa'i Arief (lahir 30 Desember 1942 – meninggal 16 Juni 1997 pada umur 54 tahun) adalah seorang kiai perintis dan pendiri Pondok Pesantren Daar el-Qolam, Pondok Pesantren La Tansa, Pondok Pesantren Sakinah La Lahwa, serta Sekolah Tinggi Ilmu Ekonomi/Sekolah Tinggi Agama Islam (STIE/STAI) La Tansa Mashiro. Ia wafat pada usia yang belum terlampau tua akibat serangan jantung.

Masa kecil
Ahmad Rifai Arief adalah putra sulung dari H. Qasad Mansyur bin Markai Mansyur dan Hj. Hindun Masthufah binti Rubama. Ayahnya merupakan seorang guru agama pada "Madrasah Ibtidaiyah Masyariqul Anwar", yang terletak di kampung Pasir Gintung, Balaraja (sekarang Jayanti), Tangerang. Oleh sebab itulah Rifa'i dibesarkan dalam lingkungan yang taat dan sarat dengan nilai-nilai agama.
Sejak kecil, kedua orangtuanya memanggil Rifa'i dengan panggilan kesayangan yaitu "Lilip". Kelak sampai beliau dewasa, orang-orang di kampungnya lebih mengenal dan memanggilnya demikian. Ia memiliki 3 orang adik laki-laki serta 4 orang adik perempuan. Urutan tujuh adik-adiknya adalah Umrah, Dhofiah, Farihah, Huwaenah, Ahmad Syahiduddin, Nahrul Ilmi Arief dan Odhi Rosikhuddin. Di mata adik-adiknya, Rifa'i menjadi teladan, karenanya beliau sangat disayangi dan dihormati oleh mereka.
Perjalanan pendidikan
Perjalanan pendidikan Rifa'i dimulai dengan pendidikan peringkat dasar yang disebut "Sekolah Rakyat (SR)" di kampung Sumur Bandung, Balaraja (sekarang Jayanti), Tangerang. Di sekolah tersebut Rifa'i hanya belajar 3 tahun saja, sebab ayahnya memindahkan pendidikannya ke "Madrasah Masyariqul Anwar" di Caringin, yang juga merupakan tempat ayahnya belajar. Alasan ayahnya agar Rifa'i lebih banyak memperoleh pengetahuan agama, selain itu juga agar anaknya dapat belajar mengaji al-Quran kepada K.H. Syihabudin Makmun yang masih saudara ayahnya.
Setelah tamat pada Madrasah Masyariqul Anwar pada tahun 1958, menurut K.H. Ahmad Syahiduddin, adik kandung Rifa'i, ayahnya menghendaki Rifa'i belajar pada institusi pendidikan Islam yang bercorak modern. Di Banten, sebenarnya banyak berdiri pondok-pondok pesantren, tetapi pondok-pondok tersebut menganut sistem pondok pesantren tradisional. Oleh sebab itu Qasad Mansyur memilih "Pondok Modern Darussalam Gontor", Ponorogo, Jawa Timur, salah satu pondok modern yang terkenal. Pondok ini mempunyai sistem klasikal, disamping mempelajari ilmu-ilmu agama juga mengajarkan pengetahuan umum dan bahasa asing seperti Bahasa Arab dan Bahasa Inggris. Lebih daripada itu Pondok Gontor juga mengajarkan disiplin hidup kepada santri-santrinya. Pengetahuan tentang Gontor diperoleh Qasad Mansyur dari saudaranya, Ja'far Hadi. Awalnya, keinginan Qasad Mansyur untuk membawa Rifa'i ke Gontor tidak disetujui oleh keluarganya yang lain, dengan alasan terlalu jauh (jarak antara kampung Pasir Gintung dan Ponorogo lebih kurang 500 Km.) Namun dengan keinginan yang kuat, beliau tetap konsisten dengan niatnya, maka pada tahun 1958 beliau bersama Rifa'i berangkat menuju Pondok Darussalam Gontor.
Di Gontor, Rifa'i diterima di kelas 1 dari 6 kelas yang wajib dilaluinya. Ia duduk di kelas 1 B. Dalam pandangan guru-guru dan rekan-rekannya, Rifa'i dikenal santri yang rajin dan pandai berpidato. Tulisannya bagus, baik tulisan dalam Bahasa Indonesia ataupun Bahasa Arab. Sejak sekolah, sudah terlihat jiwa kepimpinannya meskipun beliau sering mengalami sakit. Gangguan kesehatannya itu yang menyebabkan beliau terpaksa tidak naik ke kelas 5, karena tidak mengikuti ujian akhir.
Di Gontor Rifa'i dipandang sebagai murid yang pandai dan cerdas. Sifat-sifatnya itulah yang mengantarkannya menjadi ketua organisasi pelajar pondok Gontor yang saat itu masih bernama PII (Pelajar Islam Indonesia) cabang Gontor pada tahun 1965-1966. PII adalah salah satu organisasi pelajar Islam yang berpengaruh yang ada diseluruh institusi pendidikan Islam di Indonesia. Setelah tahun 1966, Pondok Gontor tidak bergabung dengan PII karena organisasi itu pada muktamar yang diselenggarakan pada tahun 1966 di Malang terpecah menjadi dua, yakni PII Menteng Raya dan PII Jalan Bunga. Bagi Gontor, sikap PII pusat itu berlawanan dengan prinsip independesi Pondok Gontor yang ditubuhkan untuk semua golongan dan di atas semua golongan. Setelah itu, pertubuhan pelajar Gontor diubah menjadi OPPM (Organisasi Pelajar Pondok Modern). Dengan demikian masa kepengurusan Rifa'i merupakan PII cabang Gontor yang terakhir.
Ketika Rifa'i menjadi ketua PII, Pondok Gontor tengah menyiapkan rancangan pewakafan pondok. Selain itu pula, pada tahun 1963 Gontor sedang membuat piagam berdirinya pendidikan tinggi Islam Darussalam Gontor, sebuah perguruan tinggi pesantren yang pertama di Indonesia. Setelah rancangan itu semua selesai diadakan majlis peresmian yang menjemput para duta besar negara-negara sahabat, beberapa menteri Republik Indonesia, gubernur Jawa Timur dan tokoh-tokoh lainnya. Sebagai ketua pertubuhan pelajar, Rifa'i bertindak sebagai ketua panitia acara tersebut. Dalam pelaksanaanya panitia merancang penandatanganan piagam pengajian tinggi tersebut oleh para perwakilan dari para tamu. Seperti perwakilan kedutaan Arab Saudi, Menteri Agama Republik Indonesia, Gubernur Jawa Timur, tokoh masyarakat serta perwakilan pelajar yang diwakili oleh Rifa'i sebagai ketua PII saat itu.
Selama tujuh tahun menjadi santri Gontor (yakni dari tahun 1958 hingga 1965), Rifa'i dilantik oleh kiainya sebagai seorang guru (atau ustadz). Selain mengajar para santri, Rifa'i juga dilantik menjadi sekretaris kiainya, K.H. Imam Zarkasyi. Tugas yang dipikulnya cukup berat seperti menjadwalkan kegiatan pimpinan, membuat konsep-konsep kebijakan pondok, menyunting bahan-bahan ceramah pimpinan, dan lain sebagainya. Pekerjaan-pekerjaan itulah yang justru menambah wawasan dan pengalaman Rifa'i dan karenanya ia semakin mendapat kepercayaan dari kiainya.
Setelah lebih kurang 2 tahun mengabdi di almamaternya. Rifa’i melanjutkan pengajiannya di pondok-pondok tradisional di Jawa Timur. Namun tidak ada sumber yang pasti tentang di pondok mana dan berapa lama ia tinggal di sana. Keputusannya untuk keluar dari Gontor dan menyambung pengajiannya berteraskan kepada keinginan ayahnya agar kelak ia membina insitusi pendidikan yang lebih tinggi dari yang telah dibangun oleh ayahnya. Selain itu, Gontor memang tidak mengajarkan santri-santrinya kitab-kitab klasik seperti yang diajarkan di pondok-pondok tradisional. Gontor lebih menekankan kepada penguasaan bahasa asing baik Bahasa Arab ataupun Bahasa Inggris. Selain itu, dalam tradisi masyarakat Banten, sudah merupakan perkara biasa jika seorang santri yang telah menyelesaikan pendidikannya di pondok pesantren mampu menguasai kitab-kitab klasik baik dalam bidang fiqih, aqidah ataupun tata bahasa Arab. Hal inilah yang mungkin menjadi penyebab mengapa Rifa'i mendalami kitab-kitab klasik itu.
Setelah kembali dari pondok tempat ia belajar kitab klasik/salafi, Rifa'i tidak langsung mendirikian pondok pesantren seperti yang diinginkan ayahnya. Menurut penuturan keluarganya baik istri ataupun adik-adiknya, Rifa'i menyambung pelajaran pada "Akademi Bahasa Asing" (ABA) di Bandung. Namun, tidak jelas berapa lama beliau di Bandung juga bahasa asing apa yang ia pelajari.
Perihal pendirian Pesantren
Perjalanan pendidikan Rifa'i Arief seperti yang telah diuraikan di atas, seakan-akan menunjukkan persiapan beliau sebelum mendirikan sebuah pondok pesantren sebagaimana yang dinginkan ayahnya. Sepertinya, wujud ketidakpuasan dan ia masih berasa kurang ke atas ilmu yang telah ia dapatkan. Namun ia segera kembali ke kampungnya, mengingat keinginan ayahnya untuk segera mendirikan pondok pesantren. Menurut Ahmad Syahiduddin, maksud ayahnya agar para alumni "Madrasah Ibtidaiyah Masyariqul Anwar" dapat segera melanjutkan pendidikannya pada peringkat yang lebih tinggi yaitu di pondok pesantren yang akan didirikan anaknya itu.
Pada hari Jumat 19 Desember 1967, Qasad Mansyur bersama beberapa tokoh masyarakat kampung Gintung yang juga merupakan guru pada madrasah "Masyariqul Anwar" seperti Ahmad Syanwani, Sukarta, Johar, dan juga Rifa'i sendiri membincangkan rencana pendirian pondok pesantren. Mereka membahas sistem dan metode pembelajaran dan pengajarannya kelak setelah didirikan. Dalam pertemuan itu disepakati bahwa Pondok Gontor sebagai contoh dan model lembaga pendidikan yang akan didirikan.
Dalam prakteknya, institusi pendidikan tersebut menggunakan sistem madrasi dengan nama "Madrasah al-Mua`llimîn al-Islamiyah (MMI)" (مدرسة المعلّمين الإﺳلامية), yang digabungkan dengan sistem pondok pesantren yang diberi nama Dâr al-Qalam (دار القلم). Namun dengan transliterasi kata yang mereka buat sendiri, nama pondok tersebut pun menjadi tertulis Daar el-Qolam.
Sebulan kemudian, atau tepatnya pada hari Sabtu 20 Januari 1968, bertepatan dengan tanggal 9 Syawwal 1338, dimulailah proses belajar mengajar. Pada peringkat awal murid-murid di MMI Daar el-Qolam berjumlah 22 orang. Mereka adalah adik-adik Rifa'i dan beberapa masyarakat sekitar kampung Gintung yang telah menyelesaikan pendidikan dasarnya di Madrasah Masyariqul Anwar (MMA). Adapun tempat belajar mereka ialah bekas dapur neneknya, Hj. Pengki, yang telah direnovasi.
Tantangan yang dihadapi
Sistem yang diterapkan di pondok pesantren Daar el-Qolam yang baru saja didirikan oleh beliau mengundang reaksi negatif dari masyarakat di kampungnya. Mereka menentang sistem yang dibuat Rifa'i bahkan menganggapnya sebagai mimpi belaka. Mewajibkan santri-santrinya berbahasa Indonesia dan meninggalkan bahasa Sunda, dipandang sebagai mimpi memindahkan Jakarta ke kampung Gintung. Adapun bahasa Arab menurut mereka mimpi yang tidak akan terwujud karena hendak memindahkan Makkah. Saat pengajaran bahasa Inggris dilakukan di pesantren, maka cercaan yang datang lebih keras lagi yaitu mengikuti bahasa orang kafir dan dengan sendirinya Rifa'i juga termasuk kafir. Mereka yang menuduh, memahami hadits Nabi Muhammad SAW secara keliru yaitu : "Barang siapa yang mengikuti sesuatu kaum maka ia termasuk ke dalamnya" (من تشبّه بقوم، فهو منهم).
Dengan kesungguhan dan kesabaran beliau, tantangan yang datang bertubi-tubi itu berlalu begitu saja. Kesungguhan dan kesabaran Rifa'i dalam mendidik mulai menampakkan hasilnya. Pada akhir tahun 1970-an Masehi semakin ramai santri yang datang dari berbagai tempat, tidak hanya masyarakat Gintung dan sekitarnya tetapi juga dari Jakarta, Bandung, Karawang, dan Bekasi meski memang kebanyakan berasal dari daerah Banten seperti Pandeglang, Serang, Rangkasbitung dan Cilegon. Rifa'i juga rajin menjalin komunikasi dan membuka jaringan kepada tokoh-tokoh masyarakat serta meminta nasihat dari guru-gurunya. Terutama berkunjung ke Gontor menemui gurunya, Kiyai Imam Zarkasyi atau pergi ke Serang untuk sekedar bertemu dan meminta pandangan kepada ulama di sana seperti Kiyai Haji Abdul Wahab Afif.
Ketokohannya sebagai pemimpin pondok pesantren mulai tampak ketika itu, ditambah kemampuannya dalam bahasa Arab yang fasih baik lisan ataupun tulisan. Hal inilah yang memudahkan beliau diterima di Institut Agama Islam Negeri (IAIN) Serang, Banten padahal secara formal Gontor tidak mengeluarkan ijazah yang dapat memungkinkan santri-santrinya melanjutkan pelajaran pada peringkat yang lebih tinggi seperti di IAIN. Masalah ini juga dialami oleh adik-adiknya yaitu Huwaenah dan Syahiduddin, yang merupakan adalah alumni pertama pondok pesantren Daar el-Qolam pada tahun 1975. Setelah itu, mereka melanjutkan pengajiannya di IAIN Jakarta hanya dengan ijazah yang ditulis oleh Rifa'i sendiri. Kedua adiknya itu diterima karena mereka mempunyai kemampuan berbahasa Arab dan sudah mempelajari berbagai ilmu dasar keislaman seperti yang tertulis di balik ijazah mereka.
Bagi lulusan pondok pesantren yang beraliran modern seperti Rifa'i, materi kursus pada IAIN bukanlah hal yang sukar. Bahkan pelajaran di pondok pesantren lebih sukar daripada pelajaran di IAIN. Sebagi contoh pelajaran Ushul al-Fiqh (أصول الفقه) di IAIN pada peringkat sarjana muda, menggunakan buku terjemahan bahasa Indonesia. Sedangkan di pondok pesantren baik pondok Gontor ataupun pondok Rifa'i, menggunakan kitab aslinya. Di samping itu, kemampuan Bahasa Arab dan Bahasa Inggris serta pengetahuan agama Islam yang diperoleh di pondok pesantren sangat membantu pendidikannya.
Mendapat bantuan
Selain Kiyai Imam Zarkasyi, Ahmad Rifa'i sangat menganggumi ketokohan Kiyai Mohammad Natsir, seorang yang tidak asing lagi terutama dalam dunia politik, bahkan beliau pernah menjadi Perdana Menteri Indonesia setelah partai yang dipimpinnya (Masyumi) memenangkan pemilihan umum pada tahun 1955 M. Pada akhir hayatnya beliau meninggalkan dunia politik dan memfokuskan dirinya kepada dunia dakwah dan pendidikan Islam. Pak Natsir juga mengasuh pondok pesantren, di samping itu beliau juga mengetuai organisasi pondok pesantren yang bernama "Rabîthah Maretâhid al-Islâmiyah (RMI)". Melalui organisasi inilah para kiyai dari pondok-pondok pesantren saling berbagi pengalaman dan bertukar wawasan. Rifa'i sendiri sering datang dan meminta nasihat untuk perjuangannya kepada Pak Natsir.
Melihat kesungguhan Rifa'i dalam mengelola pondok pesantren, Pak Natsir melalui ‘RMI’ membantu Rifa’i untuk mendapatkan bantuan dari Kerajaan Arab Saudi. Melalui tangan Pak Natsir itulah pada tahun 1983 M., pondok Daar el-Qolam yang diasuh Rifa’i mendapat bantuan dana sebesar Rp. 64.000.000. Pada masa itu uang sebear itu sangat besar nilainya dan sangat cukup untuk menambah fasilitas pondok dan sarana lainnya. Bantuan dana tersebut digunakan untuk membangun asrama santri yang setelah selesai pembinaanya dinamakan dengan "Gedung Saudi". Setelah itu semakin tampak jelas perkembangan pondoknya. Santri-santri berdatangan dari pelbagai wilayah di Indonesia tidak hanya sebatas pulau Jawa saja, tetapi juga dari Sumatera seperti Lampung, Palembang, Jambi, Bengkulu, Medan dan bahkan dari Nanggro Aceh Darussalam (NAD). Selain mereka ada juga santrinya yang berasal dari Malaysia dan Thailand.
Ekspansi
Pada tahun 1989 M. beliau mulai melakukan ekspansi pondoknya. Ia membuka sebuah tempat di pedalaman Banten sebelah selatan. Dipilihnya lokasi yang sangat indah, di antara pegunungan dan air yang mengalir deras nan jernih. Ia membuka lahan itu dan memberinya nama Parakansantri yang artinya perkampungan santri. Di sinilah ia mendirikan pondoknya yang kedua yang diberi nama "La Tansa" yang maksudnya "fokuskan akhirat tetapi jangan melupakan dunia".
Kepeduliannya terhadap dunia pendidikan tidak berhenti sampai di situ. Pada akhir tahun 1993 M ia mulai mengagas berdirinya pendidikan tinggi sebagai pusat ilmu dan pengabdian kepada masyarakat. Maka ia mendirikan "Sekolah Tinggi La Tansa Mashira". Adapun fakultas yang dirancang ialah fakultas dakwah, fakultas pendidikan dan fakulas pertanian.
Pada tahun 1995 Masehi, Rifa'i kembali mengagas berdirinya sebuah pondok pesantren dengan nuansa wisata. Dipilihnya tempat yang indah di tepi pantai. Di tempat itu ia mendirikan villa dan resort yang cukup mewah. Tujuannya adalah pondok itu tidak hanya sebagai tempat untuk menikmati keindahan alam, tetapi juga untuk tafakkur serta tadabbur terhadap keagungan ciptaan Allah SWT. Oleh sebab itu di samping menikmati keindahan alam, pondok itu juga mengajarkan pengetahuan keislaman, memantapkan akidah dan mengisi emosional dan spiritual. Maka itu pondok itu diberinya nama "Pondok Pesantren La Lahwa", yang maksudnya "jangan lalai dengan dunia."
Kunjungan dari beberapa orang terkenal
Pondok-pondok Rifa’i sering dikunjungi oleh para tamu baik dari dalam negara ataupun luar negari. Seperti utusan Universitas Al-Azhar, Kairo, Mesir, serta Menteri Agama Islam Malaysia pada tahun 1995. Selain mereka, juga beberapa menteri pada era presiden Suharto juga pernah berkunjung ke pondoknya dalam rangka acara hari jadi (milad) Daar el-Qolam yang ke-25 pada tahun 1994 M. Seperti Menteri Agama Dr. Tarmizi Taher, Menteri Negara Pemuda dan Olahraga Dr. Hayono Isman, Menteri Penerangan Harmoko dan lain sebagainya.
Lebih kurang 30 tahun beliau membangun dan mengelola institusi pendidikannya yang semakin mendapat kepercayaan dari masyarkat. Akibat dari itu masa yang dimilikinya semakin terbatas. Sebagai sebuah usaha regenerasi dan kaderisasi, ia menempatkan adik-adiknya pada pondok-pondok yang telah ia dirikan untuk membantu tugas-tugasnya.
Akhir hayat dan proses peralihan kepemimpinan
Pada tahun 1997 semua karya-karya itu sudah berjalan sesuai dengan fungsinya masing-masing. Namun, beliau sadar bahwa karya-karya itu akan semakin menambah beban dan fikirannya. Meskipun ia menyerahkan kepada kader-kadernya, bukan berarti ia meninggalkannya sama sekali. Ia mesti mengunjungi 3 institusi pendidikan yang dibangunnya kecuali Daar el-Qolam yang memang dekat dengan rumahnya. Pada masa itulah ia selalu pergi balik ke Gintung – Rangkasbitung atau Gintung – Labuan yang berjarak lebih kurang 35 KM. Setiap kali pergi untuk mengawasi pondok-pondoknya, Rifa'i selalu diantar oleh supir pribadinya, Wawan Ridwan.
Selain berkunjung ke pondok-pondoknya, Rifa’i juga disibukkan dengan undangan acara atau pertemuan tertentu. Namun, ia tidak berkenan memenuhi undangan ceramah di luar pondoknya sendiri, kecuali yang menjemputnya adalah santri-santrinya. Pernah seorang wartawan televisi swasta memintanya untuk berceramah di layar Televisi, tetapi ia menolak. Alasannya ia tidak mau terkenal dan pondoknya tidak boleh terkenal karena dirinya. Dalam sebuah acara kunjungan Ra’is bi’thah al-Azhar al-Syarîf (ketua utusan Universitas al-Azhar Cairo Mesir) ke pondoknya pada tahun 1996, beliau menegaskan dalam ucapan sambutannya yang disampaikan dalam bahasa Arab yang maksudnya sebagai berikut "Walaupun Rifa'i mati pondok ini tidak boleh mati, ia mesti tetap hidup dengan sistemnya bukan dengan kiyainya".
Kesibukan Kiyai Rifa’i semakin banyak khususnya pada setiap bulan Juni. Sebab pada bulan itu banyak kegiatan di pondok-pondoknya seperti amaliah al-tadrîs (praktik mengajar) khusus untuk santri kelas akhir di mana ia bertindak sebagai musyrîf `amm (pembimbing umum) yang mesti mengoreksi rancangan mengajar santri-santrinya yang telah ditulis dalam bahasa Arab dan Inggris. Pada tahun 1997 M. lebih kurang 200 rancangan mengajar (i`dad) santri kelas terakhir mesti ia koreksi. Setelah I`dad itu mendapat kelulusan dari musyrif pertama pertama dan keduanya. Jika telah mendapatkan kelulusan dari kiyainya, mereka baru boleh mengajar itupun masih diawasi oleh musyrif pertama dan keduanya.
Selain itu acara yang cukup menyibukkan setiap tahun ialah Khutbah al- Wada` dan Tafwîdl al-Syahâdah. Pada acara tersebut, ia mesti menyampaikan khutbah terakhirnya di hadapan para santri dan orang tua mereka, sekaligus menyerahkan ijazah sebagai tanda berakhirnya pelajaran para santri kelas akhir di pondok pesantren.
Pada hari Sabtu 14 Juni 1997 M, di Pondok Pesantren La Tansa ia menyampaikan khutbah atau nasehat terakhirnya di hadapan santri dan orang tua mereka. Setelah itu ia kembali ke rumahnya di Gintung, karena esoknya ia mesti menyampaikan "kuliah etiket" kepada santri-santrinya yang akan pulang ke rumah mereka dalam rangka libur akhir tahun ajaran 1996/1997.
Pada Ahad 15 Juni 1997 pukul 07.00 pagi, Rifa’i menuju aula pondok. Wajah kira-kira 2000 santri kelihatan ceria menunggu kedatangan beliau apalagi hari tersebut adalah dimulainya liburan akhir tahun pelajaran. Mereka tidak sabar mendengar pesan dan nasihat kiyainya sebagai bekal mengisi masa liburan di rumah. Para guru juga sudah menunggu beliau di depan pintu sekretariat pondok. Sekitar pukul 07.15 pagi, beliau datang memakai jas biru tua dengan baju putih dan celana panjang dengan warna yang sama dengan jasnya. Dasi dan peci menambah keserasian busananya pagi itu. Seperti biasa ia memberikan nasihat kepada santri-santrinya tentang bagaimana mengisi masa libur dengan baik. Nunik Nurjannah, salah seorang santrinya, yang juga ketika itu sebagai ketua organisasi pelajar putri pondok pesantren Daar el-Qolam masa bakti 1997-1998 M., mencatat nasihat-nasihat kiyainya dalam buku hariannya. Salah satu pesan kiyainya yang ia tulis adalah "anak-anakku yang perempuan, janganlah sekali-kali kalian melepaskan jilbab di hadapan khalayak umum".
Pukul 09.00 pagi beliau telah selesai memberikan ceramah, kemudian meninggalkan aula dan kembali ke rumahnya. Di rumahnya sudah menunggu beberapa orang tua murid yang juga hendak berpamitan pulang membawa anaknya. Setelah itu beliau istirahat di kamarnya, sebelum itu ia minta dipijat oleh anaknya, Ahmad Faisal Hadziq.
Pada pukul 1.30 siang, Faisal mengetuk pintu kamar ayahnya. Ia hendak memberitahu bahwa ada tamu yang telah menunggunya. Tamu tersebut adalah Ibu Farida Hanum yang selama itu bekerjasama dengan beliau dalam program pembelajaran komputer untuk para santrinya. Ibu Farida datang dihantar adik iparnya, Ade Zamzami. Ketika anaknya (Faisal) membuka pintu kamarnya, ia terperanjat, sebab melihat ayahnya terbaring di atas sajadah dengan pakaian salat (berkain dan berpeci). Kemudian ia memanggil ibu dan saudara-saudaranya yang ada di sekitar rumah. Rifa'i langsung dilarikan ke rumah sakit ‘al-Qadr’, Karawaci, Tangerang yang berjarak sekitar 20 km dari rumahnya. Setibanya di rumah sakit tersebut, dokter menyatakan bahwa ia telah meninggal dunia akibat serangan jantung.
Hari itu, Ahad 15 Juni 1997 M, pukul 12.30 tengah hari ribuan orang berbondong-bondong mendatangi rumah beliau. Berita kematiannya muncul pada siaran berita terakhir Televisi Republik Indonesia (TVRI) dan Radio Republik Indonesia (RRI). Jenazah almarhum disemayamkan di rumahnya. Keesokan harinya, Senin 16 Juni 1997 M, pukul 10.00 pagi beliau dimakamkan. Surat kabar nasional Republika, juga memberitakan kematiannya pada 17 Juni 1997 M.
Selanjutnya, pada hari Selasa 17 Juni 1997 M, diadakan musyawarah keluarga yang membahas penerus beliau sebagai pimpinan pesantren. Musyawarah itu dihadiri juga Kiyai Abdullah Syukri Zarkasyi, anak dari guru Rifai, Kiyai Imam Zarkasyi. Abdullah Syukri adalah sahabat kiyai Rifai ketika belajar di pondok Gontor, yang juga salah seorang dari 3 pimpinan pondok Gontor. Ia diangkat oleh badan wakaf Gontor untuk menggantikan ayahnya yang meninggal dunia pada tahun 1985 M. Semasa hidupnya, Rifa'i sering berjumpa dengan Pak Syukri baik di Gontor ataupun di tempat-tempat lain. Begitu pula Pak Syukri beberapa kali mengunjungi pondok Rifa'i.
Rifa'i memang tidak menyampaikan wasiat kepada keluarganya, tetapi ia pernah menyampaikannya kepada Pak Syukri, bahwa yang kelak akan menggantikannya ialah adik lelaki beliau yaitu Ahmad Syahiduddin dan anak lelakinya Adrian Mafatihullah Karim. Musyawah tersebut memutuskan pengganti beliau seperti yang diwasiatkan kepada Kiyai Syukri. Syahiduddin kemudian meminta kepada kakaknya, Huwaenah untuk membantunya mengurus santri-santri putri. Setelah salat dzuhur langsung diadakan pelantikan di masjid pondok. Ahmad Syahiduddin dan Enah Huwaenah adalah lulusan angkatan pertama pondok pesantren Daar el-Qolam. Sementara itu, Adrian, putra Rifa'i, juga lulusan pondok yang sama pada angkatan ke-17. Akhirnya mereka bertiga yang melanjutkan kepemimpinan Ahmad Rifa'i Arief.