Το Καλλιμάρμαρο κατασκευάστηκε στη θέση του αρχαίου Σταδίου, που είχε κατασκευαστεί έπειτα από πρωτοβουλία του άρχοντα Λυκούργου το 330-329 πΧ. Η χαράδρα που βρισκόταν ανάμεσα στο λόφο του Αρδηττού και στο λόφο Άγρα θεωρήθηκε η ιδανική για τη δημιουργία του σταδίου τοποθεσία. Εκεί έρεε πριν από πολλά χρόνια και ο ιερός ποταμός Ιλισσός.
Οι λευκές κερκίδες του Σταδίου ήταν Πεντελικού μαρμάρου και οι σκούρες αποτελούσαν ξύλινη κατασκευή. Βρίσκονταν σε φυσικό κοίλωμα που ανήκε στον Δεινία, έναν ιδιώτη ο οποίος το παραχώρησε στην πόλη, χωρίς να ζητήσει αντάλλαγμα. Εκεί τελούνταν κάθε τέσσερα χρόνια τα Παναθήναια, η μεγάλη γιορτή της Αθήνας που ήταν αφιερωμένη στη θεά Αθηνά.
Αρχικά το στάδιο ήταν χωμάτινο και οι θεατές κάθονταν στο έδαφος, ενώ υπήρχαν μόνο μερικά ξύλινα εδώλια για τους άρχοντες της πόλης. Κάτω όμως από το ανατολικό ανάλημμα υπήρχε μία υπόγεια σήραγγα, από την οποία εισέρχονταν στο στίβο οι αθλητές. Παρά τις συνεχείς ανακατασκευές του σταδίου, η συγκεκριμένη στοά αποτέλεσε το μοναδικό κομμάτι του αρχαίου σταδίου που διατηρήθηκε αλώβητη μέχρι σήμερα. Η στοά αυτή κατέληγε στο βάθος του Σταδίου, στην αριστερή πλευρά του πετάλου, κι είχε μήκος 57 μέτρων και πλάτος 4 μέτρων.
Η σήραγγα του Καλλιμάρμαρου διανοίχθηκε την εποχή του Λυκούργου και εκεί θυσιάζονταν ζώα. Τα πρώτα χρόνια, μάλιστα, της δημιουργίας της ήταν διακοσμημένη από μαρμάρινα και χρυσά αγάλματα και δωρικούς κίονες.
Στα ρωμαϊκά χρόνια που ακολούθησαν, το Στάδιο μετατράπηκε σε αρένα, όπου γίνονταν θηριομαχίες και μονομαχίες, και μέσα από τη στοά περνούσαν τα ζώα που θα αγωνίζονταν στην αρένα. Εν συνεχεία, το Μεσαίωνα συνδέθηκε με τις λαϊκές προλήψεις περί μαγισσών και διάφορους μύθους που έλεγαν, ότι εκεί κατοικούσαν οι Μοίρες και γίνονταν «μαντολόγια». Γι' αυτό και ονομάστηκε «τρύπα της μοίρας». Μετά την απελευθέρωση της Αθήνας από τους Τούρκους, εκεί λειτούργησαν τα πρώτα σφαγεία, τα οποία έκλεισε το 1850 η βασίλισσα Αμαλία. Στους πρώτους σύγχρονους Ολυμπιακούς Αγώνες που διεξήχθησαν στην Αθήνα το 1896, πάνω από τη στοά δημιουργήθηκαν αποδυτήρια για τους αθλητές.
Σήμερα η στοά είναι άγνωστη στους περισσότερους κατοίκους της Αθήνας, όπως και στους ανθρώπους που επισκέπτονται το Παναθηναϊκό Στάδιο. Παρ’ όλα αυτά, αν και μακριά από τα φώτα της δημοσιότητας, η σήραγγα του Καλλιμάρμαρου εξακολουθεί να στέκεται άθικτη από το πέρασμα του χρόνου, και στο ημίφως της κρύβονται μυστικά και ψίθυροι του παρελθόντος, που η ίδια φρόντισε να φυλάξει καλά τόσους αιώνες.