Lahir didorong  oleh semangat  dan rasa syukur atas kemerdekaan Republik Indonesia 17 Agustus 1945, “Umi Hj. Romelah binti H. Asnawi” merintis penyelenggaraan sebuah pendidikan sederhana yang diasuh oleh beliau bersama dengan putra puterinya yaitu “ Hj. Mariyam, Hj. Munawaroh” dan “H. Abdussomad Rahman” bertempat di wilayah yang dikenal “Ratu Jaya Depok”.Dengan jumlah murid pertama sebanyak tujuh orang puteri yang kemudian diberi nama “Pondok Pesantren Poetri Wanita Indonesia” yaitu pada tanggal 17 Rajab 1369 H atau 24 Agustus 1948 M  inilah cikal bakal Yayasan Pendidikan Islam Arrahmaniyah.

Pada tahun 1949 Abdussomad membuka pendidikan  formal yaitu  Sekolah Ibtidaiyah Sirojul Athfal (MISA) tujuh puteri pertama tadi  sebagai siswa angkatan pertama, sampai mendapat izin dari pemerintah melalui kantor Departemen Agama pada tahun 1952, dan meluluskan angkatan pertama pada tahun 1957.

Pada tanggal 25 Agustus 1960, mendirikan Pendidikan Guru Agama (PGA) mualimin empat tahun dari tingkat PGAP sampai PGAA. Selanjutnya pada tanggal 14 Agustus 1969 dikembangkan menjadi Pendidikan Guru Agama (PGA) enam tahun, berdasarkan ketentuan Pemerintah melalui Departemen Agama, sebagian siswa tinggal diasrama pesantren.

Pada tahun 1968, H.Abdussomad Rahman bersama saudara-saudarinya beserta  dengan para sahabat yang konsisten dibidang pendidikan mengorganisir dan melembagakan pendidikan menjadi “Perguruan Sirojul Athfal” (PSA). Dan pada saat yang sama beliau juga membentuk persatuan Majelis Ta’lim Ibu-ibu yang diberi nama “Ikatan Dakwah Wanita Islam” (Ikdawati) yang dipimpin oleh “Ustazah.Hj. MunawarohAli”.

Pada tahun 1972,  nama lembaga Perguruan Sirojul Athfal ( PSA ) ditambah dengan kata “ Arrahmaniyah”, maka lembaga ini bernama menjadi “PSA Arrahmaniyah”. Kata “Arrahmaniyah” diambil dari kata “Rahman”, yaitu diambil dari nama ayahanda dari “H. Abdussomad Rahman” yaitu “KH. Abdurrahman bin Asyari”, yang merupakan muwaqif tanah yang diatasnya dibanguna sarana pendidikan YPI  Arrahmaniyah. Kata Arrahmaniyah yang berasal dari kata “Rahman” yang memiliki makna “Kasih Sayang”, dikandung maksud Kasih Sayang Lembaga dan perhatian terhadap nasib pendidikan anak bangsa.

Pada tahun 1977, seiring dengan dihapusnya PGA yang dikelola oleh lembaga pendidikan swasta sesuai ketentuan pemerintah, maka sebagai pengganti PGA didirikan Sekolah Tsanawiyah (MTs) setingkat dan sederajat SMP, bersamaan dengan itu dikembangkan pula unit pendidikan Sekolah Aliyah (MA) setingkat dan sederajat SMA, kedua unit lembaga tersebut adalah dibawah binaan Departemen Agama, cukup berkembang sampai sekarang. Pada tahun yang sama didirikan Sekolah Diniyah (MD) sebuah pendidikan non-formal untuk anak-anak luar sekolah, dan pada tahun 1979 Sekolah diniyah diganti dengan Raudlatul Athfal (RA) sederajat dengan Taman Kanak-kanak (TK),

Pada tahun 1981 PSA Arrahmaniyah memantapkan keberadaannya dengan mencatatkandiri  dalam badan hukum  sebagai badan  usaha yang bergerak dalam dunia pendidikan, yaitu terdaftar dalam Akte Pendirian Yayasan yang dikeluarkan oleh Notaris Koesnoen, SH, Nomor ; 3 tanggal 8 Desember 1981, dengan nama melepas kata PSA di depannya sehingga menjadi YAYASAN PENDIDIKAN ISLAM ARRAHMANIYAH (YPIA). Dengan dilandasi  legalitas formal sebagai  yayasan pendidikan serta di dukung oleh masyarakat dan pemerintah, pada tahun awal 1982 YPI  Arrahmaniyah melebarkan sayap mengembangkan pendidikan umum dibawah binaan Depdikbud saat itu, yaitu mendirikan Sekolah Menengah Atas (SMA) yang kemudian diberi nama SMA Arrahman, izin pendirian keluar pada tahun 1985.