إن أصول الديانة اليهودية في اليمن غير واضحة : القبائل العشرة الضائعة، ملكة سبأ، الهجرة من مصر، وغير ذلك. أقل شاعرية منها ولكنها أكثر عقلانية هي : تجارة التوابل والعطور التي كانت ناشطة في المنطقة، بين القرن الثالث قبل الميلاد والقرن الثالث الميلادي، حين بعث الملك هيرودس مجموعة من اليهود لمساعدة الرومان في حملتهم في جنوب الجزيرة العربية، لم يعد أحد منهم الى دياره.
كل المهتمين بتاريخ الجزيرة العربية وشمال آسيا يعرفون أهمية تجارة التوابل وطريق البخور أو طريق العطور. فقد كانت الطريق الممتدة من سوريا الى ايلات تسمى بـ "الطريق الملكي"، ثم تواصل امتدادها عبر الجنوب إلى واحات الحجاز، وصولاً الى اليمن. فكان أن أنشئت مستعمرات تجارية على طول الطريق من قبل مواطنين من مختلف البلدان.
من 518 إلى 525، حكم شبه الجزيرة العربية (اليمن حالياً) ملك يهودي هو ذو نؤاس، الذي كان ينتمي الى سلالة الحميريين. اعتنق هذا الملك الديانة اليهودية، وتسمّى بيوسف. وربما يكون قد اتبعه في هذا النهج بعض شعبه. ثم كان أن نصّب نفسه مدافعاً عن اليهود وقام بمواجهات مع الامبراطورية البيزنطية. مقابل الإساءة التي كان يتعرض لها اليهود، هدد ذو النؤاس بالانتقام من المسيحيين في المملكة. فما كان من جوستينيان الأول، الإمبراطور البيزنطي (518-527) إلا أن حرض مملكة الحبشة (إثيوبيا حاليا) لغزو مملكة ذو نؤاس. وحين تحقق من هزيمته، رمى بنفسه وبحصانه منتحراً.نحو الهاوية.
شارك يهود المغرب العربي ومصر واليمن بنشاط في التجارة مع الهند. وابتداء من النصف الثاني من القرن الحادي عشر وحتى الثاني عشر، شهدت حياة اليهود في اليمن تطوراً كبيراً، ونمت اجتماعياً وثقافياً وعقائدياً واقتصادياً.
ثم كانت هذه المرة الأخيرة التي تحققت فيها الهجرة اليهودية بشكل كبير من حيث العدد والكمية، في ذلك العصر. وتفوقت قدرة المهاجرين الجدد، من حيث المعرفة، ولا سيما فيما يتعلق باليهودية، على معرفة اليهود من السكان الأصليين، فكانوا المتحدثين باسمهم وممثليهم، وخاصة في العلاقات مع الجاليات اليهودية في الخارج.
في أوائل القرن الثالث عشر، خفف الوفد التجاري الى الهند من مكانة اليهود في هذا المجال. ومنذ ذلك الحين، انخفضت تدريجياً نسبة المعلومات عن يهود اليمن، وكان ذلك بداية جديدة لفترة طويلة من الصمت.
في عام 1629 بدأ الحديث عن يهود اليمن يظهر ثانية. في هذا العام، وقعت اليمن من جديد تحت سيطرة الزيديين من السلالة الشيعية، ودار نقاش حاد حول شرعية وجود الديانة اليهودية في اليمن. ظهرت نتيجة هذه المناقشات في عام 1679-1680 والتي قضت بطرد اليهود مؤقتاً من العاصمة صنعاء، ومن الهضبة الوسطى، الى موزة على البحر الأحمر. ولم يدم نفيهم الى موزة سوى عام واحد فقط، غير أنه هز أركان الجماعة اليهودية التي كان يرغب أفرادها الاندماج في التقاليد الثقافية والعبادات كغيرها من الجماعات اليهودية.
وكانت المحطة الثانية في حياة يهود اليمن في القرن الثامن عشر، عندما أدى إستقرار سلالة الأئمة القاسميين، الى توفير شروط ملائمة لاندماج رائع.
في القرن التاسع عشر، اجتاحت البلاد موجة من الثورات القبلية والغزوات أدت في النهاية الى الاطاحة بالسلالة الزيدية، في حالة من الفوضى. في 1839، استغل البريطانيون حالة الفوضى واستولوا على عدن، وأصبحت الجالية المقيمة ساحل المدينة حلقة الوصل بين اليهود اليمنيين وبين ملوك الطوائف المسيحية في جميع أنحاء العالم. وفي عام 1872، أصبح اليمن مجدداً، إمارة عثمانية وانفتحت بكليتها الى التأثيرات الخارجية. ولكن ذلك لم يدم.
ثم في عام 1882، قامت مجموعة من اليهود قوامها 150 شخصاً بمغادرة اليمن، وبدأت رحلة شاقة دامت 9 أشهر، في طريقها إلى القدس. وعند وصولهم أقاموا مقابل مدينة داود، حيث عاشوا في كهوف مجهزة تجهيزاً خاصاً، يمكن مشاهدتها من مدينة داوود.
وفي عام 1922، أعادت الحكومة اليمنية قانوناً اسلامياً قديماً، يقضي باجبار الأيتام ما دون سن الثانية عشرة، على اعتناق الدين الاسلامي.
وفي عام 1947، أدى تصويت لجنة الامم المتحدة بتقسيم فلسطين الى عواقب في جميع أنحاء العالم العربي. ففي اليمن، تعرض مثيري الشغب مسلمين بالاساءة الى اليهود، مما أسفر عن مقتل 82 شخص في عدن، والى تدمير المئات من المنازل اليهودية.
أما في عام 1949، وبعد أسابيع قليلة من انتهاء الحرب، وإنشاء دولة إسرائيل، غادرت الجالية اليهودية بأسرها اليمن، في طريقها الى اسرائيل، وكانت تعد فيما مضى 49 ألف يهودياً. فقط 1200 يهودي قرروا البقاء، ثم هاجر معظمهم إلى إسرائيل في أوائل 1990. حالياً، حوالي 200 يهودي فقط يعيشون في اليمن، في الشمال على وجه التحديد.