Sin dalle prime invasioni arabe Jerba divenne il centro dei Kharigiti, una setta islamica ascetica nemica dei califfi che governavano l'impero arabo e le cui origini risalgono agli albori dello scisma tra i Sunniti (ortodossi) e gli Sciiti.
I Sunniti sostenevano i califfi omayyadi e i loro successori abbasidi, mentre gli Sciiti credevano che solo Ali, genero del Profeta, e i suoi discendenti avessero il diritto di governare sul califfato.
La disputa tra le due sette era solo all'inizio quando Ali accettò di arbitrare la controversia, ma a quel punto un gruppo di suoi sostenitori ritirò il suo appoggio, dichiarando che il solo arbitro poteva essere Dio.
Il gruppo dei Kharigiti, il cui nome deriva dal verbo "lasciare" (kharaja), divenne una setta ascetica estremamente puritana, nemica sia dei Sunniti sia degli Sciiti (fu proprio un kharigita che uccise Ali), ma ebbe un grande seguito tra i Berberi, soprattutto perché adottava la religiosità e non la discendenza (araba) quale criterio principale per la guida della comunità islamica.
Quando nel 909 i Fatimidi conquistarono gli stati kharigiti del Nord Africa che avevano le loro basi a Sijilmasa in Marocco e a Tahirt in Algeria, Jerba divenne, assieme a Mzab in Algeria, ad al Jabel Nafusa in Libia e all'isola di Zanzibar in Tanzania, una delle ultime roccaforti di questa setta.
Di fatto per molti anni la popolazione kharigita dell'isola si divise in due fazioni: i Waharabiti, seguaci di Addallah Ibn Wahab, il sovrano rustamide di Tahirt, nel cui territorio si trovava anche Jerba, e i Nakkariti, la fazione di seguaci di Abu Yazid, il ribelle di Tozeur.
Dall'VIII al XIX secolo queste due fazioni, che erano unite quando si trattava di combattere il comune nemico cristiano, lottarono tra loro per il dominio politico e religioso dell'isola.
Alla fine prevalsero i Wahabiti e molti Nakkariti si convertirono alla setta sunnita.
Va precisato che la fazione wahabita dei Kharigiti non ha niente a che fare con il movimento wahabita sorto nella penisola araba nel XVIII secolo.
Oggi i Kharigiti, chiamati in genere Wahabiti o Ibaditi, costituiscono quasi la metà della comunità mussulmana di Jerba e sono concentrati nella parte meridionale e occidentale dell'isola.
Essi osservano una pratica religiosa molto rigida e seguono i dettami del Corano in modo ancora più severo rispetto ad altri mussulmani.
Anche alcuni dettagli dei rituali religiosi differiscono da quelli dei mussulmani sunniti.
L'austerità della religione kharigita si riflette soprattutto nella loro architettura: fra le trecento moschee e marabut che si trovano a Jerba, i più semplici e sobri sono stati costruiti dai Kharigiti.
In tempo di guerra questi edifici islamici erano utilizzati come rifugio da coloro che non vivevano in un houch, le tipiche abitazioni di Jerba situate in un menzel (appezzamento di terreno) e disseminate qua e là nelle zone interne dell'isola.
La maggior parte di coloro che appartengono alla monomania, sempre più esigua, che parla berbero sono Ibaditi.
Essi vivono nel sud dell'isola, specialmente intorno a Ajim, Guellala e Secdouikech, e dato che parlano una lingua diversa tendono ad essere svantaggiati dal punto di vista dell'inserimento sociale (ad esempio, trovare lavoro per loro è un problema).
Il basso status sociale dei berberi è diventato quindi uno dei principali fattori che hanno determinato il declino di questa lingua.
