Nama Khawarij berasal dari kata bahasa Arab kharaja yang berarti keluar. Mereka disebut golongan khawarij karena keluar dari barisan Ali bin Abi Thalib. Golongan Khawarij terdiri dari pengikut-pengikut Ali bin Abi Thalib yang meninggalkan barisan, karena tidak setuju dengan sikap Ali bin Abi Thalib yang menerima arbitrase sebagai jalan untuk menyelesaikan persengketaan tentang khilafah dengan Mu’awiyah bin Abi Sofyan. Tetapi ada pula pendapat yang mengatakan bahwa pemberian nama itu berdasarkan Surat An-Nisa’ ayat 100, yang di dalamnya disebutkan; ”keluar dari rumah lari kepada Allah dan Rasulnya”. Berdasarkan ayat inilah golongan Khawarij memandang diri mereka sebagai orang yang meninggalkan rumah dari kampung halamannya untuk mengabdi kepada Allah dan Rasulnya.

Nama lain dari golongan Khawarij adalah Haruriah. Diambil dari nama sebuah desa yang terletak diantara kota Kufah, Irak. Di tempat itulah mereka berkumpul dan memisahkan diri dari barisan Ali. Mereka memilih Abdullah Ibnu Wahab Al-Rasidi menjadi imam mereka menggantikan Ali bin Abi Thalib. Dalam pertempuran dengan pasukan Ali, mereka mengalami kekalahan, walaupun akhirnya seorang Khariji Abdurrahman Ibnu Muljam dapat membunuh Ali.

Golongan Khawarij mempunyai faham yang berlawanan dengan faham yang ada pada waktu itu. Mereka lebih bersifat demokratis. Karena menurut mereka khalifah atau imam harus dipilih secara bebas oleh seluruh umat Islam. Siapa saja berhak menjadi khalifah. Baik orang Arab maupun non Arab, asal ia Islam dan sanggup, maka ia berhak menjadi khalifah. Khalifah yang dipilih akan terus memegang jabatannya selama ia bersikap adil dan menjalankan syari’at Islam. Akan tetapi, jika ia menyeleweng dari ajaran Islam, ia harus diturunkan atau dibunuh.

Golongan Khawarij pada umumnya terdiri dari orang-orang Arab Badui. Hidup di padang pasir membuat mereka keras hati serta berani dan tak takut mati, tapi jauh dari ilmu pengetahuan. Ajaran Islam, sebagaimana terdapat dalam Al-Qur’an dan hadits, mereka artikan menurut lafadznya dan harus dilaksanakan sepenuhnya. Oleh karena itu, pemikiran mereka sempit dan fanatik.

Menurut Al-Syahrastani, golongan Khawarij terbagi menjadi 18 sub sekte, dan menurut Al-Baghdadi 20 sekte. Bahkan menurut Al-Asy’ari, jumlah sub sekte golongan Khawarij jauh lebih banyak lagi. Mereka mudah terpecah belah menjadi golongan kecil karena sikap fanatik dan pemikiran sempit yang mereka miliki. Mereka selalu mengadakan perlawanan terhadap penguasa Islam.