La situación de los judíos con la llegada de los musulmanes a la península Ibérica mejoró claramente frente a la que padecían con en el reino visigodo, cuestión que debe tenerse en cuenta a la hora de explicar el apoyo que dispensaron a los invasores. Los judíos vieron reconocido el derecho al libre ejercicio de su culto, y conservaron sus comunidades en los lugares donde estaban asentados, destacando su presencia en Córdoba, por ejemplo. Vivían en barrios propios y separados de la población musulmana con sus sinagogas, aunque debían solicitar un permiso para levantarlas, con sus propias leyes y autoridades, como el basi, que representaba a la comunidad judía de un lugar ante las autoridades musulmanas. Los judíos, como los mozárabes, debían pagar impuestos territoriales (jarach) y personales, la chizya.
Los judíos contribuyeron al desarrollo cultural y científico en Al-Ándalus, en las épocas de tolerancia. La medicina andalusí debe mucho a los judíos. Por otro lado, es indiscutible el florecimiento de la cultura sefardita con ejemplos como los del médico y rabino Maimónides o Bahya Paquda, que escribió una obra fundamental de la mística judía popular hasta el siglo XIX.
En general, la convivencia en Al-Ándalus las tres religiones fue tensa, con épocas de intolerancia y otras de mayor tolerancia. La época de los reinos de taifas fue bastante favorable para los judíos, aunque también se dieron algunos episodios de persecución religiosa, como el acontecido en Granada en 1066. La situación de relativa tolerancia cambió a partir del siglo XII con la llegada de almorávides y almohades, pueblos del norte de África que intentaron frenar el avance cristiano sobre las taifas musulmanas, y que se caracterizaban por una interpretación muy rigurosa de la religión islámica frente a lo que se venía haciendo en Al-Ándalus. Este rigorismo afectó a los mozárabes y a los judíos. Las alternativas para estos colectivos pasaban por la conversión al Islam o la emigración hacia los reinos cristianos. Ese fue el caso del mencionado Maimónides que tuvo que emigrar ante el fanatismo almohade.
En el reino nazarí de Granada los judíos estuvieron obligados a llevar signos especiales en su vestimenta para diferenciarlos, principalmente un gorro amarillo frente al tradicional turbante del resto de la población. Pero los nazaríes debieron ser bastante tolerantes con los judíos. Cuando estalló la oleada antijudía en 1391 en Castilla muchos judíos emigraron a Granada, provocando un enriquecimiento demográfico, profesional y económico. Pero tampoco debemos exagerar el número de judíos en el reino de Granada, ya que debía ser poco más de un millar en vísperas de la entrega de la Alhambra a los Reyes Católicos en enero de 1492.
Así pues, estamos hablando de una historia con largas épocas de tolerancia con otras de intransigencia y persecución. Es difícil saber dónde vivían mejor, si en los reinos cristianos o en Al-Ándalus. La periódica intolerancia hizo que bascularan entre los dos territorios.