בימינו, לא ניתן אפילו לדמיין בית כנסת שאין בו ארון קודש. ארון קודש הפך להיות חלק בלתי נפרד מהמבנה הבסיסי של כול בית כנסת שהוא אבל הדבר לא היה כך מאז ומעולם. כתשמיש קדושה, כחלק מבית הכנסת היהודי כפי שאנחנו מכירים אותו, ארון קודש יכול להיות ביטוי עמוק מאוד של תהליך שעברה היהדות באלפיים השנים האחרונות וששורשיו אולי נעוצים בעבר רחוק אפילו יותר. ניתן לומר שבעצם מהותו, בהיסטוריה שלו ובתהליכים שהוא עבר, ארון קודש הוא ביטוי ליחסים הסבוכים הקיימים ביהדות בין מקדש ותורה.
ארון קודש לא היה חלק מרכזי מהמבנה של בית הכנסת היהודי עד לפני אלף תשע-מאות או אלף שמונה-מאות שנים, דהיינו מאתיים או שלוש-מאות שנה אחרי חורבן בית המקדש. תחילה שימש ארון קודש רק כמקום אחסון לספרי התורה והוא לא תפס מקום מרכזי בבית הכנסת. רק עם השנים הולך ותופס ארון קודש מקום מרכזי בבית הכנסת ולאט לאט הוא הופך למקום בעל החשיבות הגדולה ביותר בבית הכנסת. ארון קודש הוא המקום שבו נשמרים ספרי התורה אך עם הזמן הוא גם תופס מקום חשוב בסמליות של בית הכנסת. ארון קודש איננו רק מקום אחסון, הוא מעין מרכז הקדושה של בית הכנסת. המתפללים פונים אליו בזמן התפילה וברגעי השיא – בתפילות החשובות ביותר – ארון קודש עומד ודלתותיו פתוחות כאילו הוא שער לשמיים שדרכו התפילות עולות למעלה.
ארון קודש יכול להיתפס כמעין תחליף לקודש הקודשים, המקום הקדוש ביותר בבית המקדש. בית הכנסת בכללותו נתפס לעיתים כמעין תחליף לבית המקדש – מקדש מעט. אך חשוב לראות את ההבדלים הקיימים בין בית הכנסת ובית המקדש והבדלים אלה בולטים בעיקר אם בוחנים את המושג של ארון קודש בבית הכנסת. ארון קודש איננו מקום שהכניסה מותרת אליו רק למתי מעט בעלי ייחוס כמו שהיה הדבר בבית המקדש. ארון קודש פתוח לכולם ואילו קודש הקודשים, ולמעשה כל חלקי המקדש, היו פתוחים רק לכוהנים או לכוהן הגדול. ארון קודש מסמל תפיסה אחרת של יהדות מבית המקדש: לא עוד מעמד שממנו נבחרים המשמשים בקודש, אלא מצב שבו כל אחד יכול לעלות מעלה מעלה במעלות הקדושה. ארון קודש מבוסס על התורה ולא על קדושת המקום כמו בית המקדש. ארון קודש מסמל במהותו את המקום המרכזי שתופסת התורה ביהדות – התורה שמונחת בקרן זווית ושאותה כל אחד יכול ללמוד. למרות היחס לבית הכנסת כסמל למקדש שחרב, המקום המרכזי שתופס ארון קודש בכול בית כנסת מבטא דווקא שינוי גדול בתפיסה היהודית: מעבר בין קדושת מקום אחד, שבט אחד, משפחה אחת, אדם אחד לתפיסה שבה לכול אחד ולכול מקום יש את האפשרות להיות קדוש ומרכזי.
אם בוחנים כיצד לאורך ההיסטוריה ארון קודש הופך מחפץ צדדי למרכזו של בית הכנסת ניתן לראות בקלות כיצד שינוי התפיסה השלטת ביהדות לובש צורה פיסית. המרכזיות של ארון קודש בבית כנסת איננה עניין של מקרה או נוחות והיא איננה מבטאת רצון להעתיק את בית המקדש לתוך כל בית כנסת; המרכזיות של ארון קודש בבית הכנסת מלמדת דווקא על התנתקות מרעיון המקדש ביהדות.