Το πρόβλημα της προστασίας των αρχαιοτήτων έχει περίπου την ηλικία του νεοελληνικού κράτους. Μαζί με κείνα της ανεύρεσης και διάσωσης, ειδικά η διαφύλαξη, ήταν πάντα «εθνικό ζήτημα». Σε διαρκή εκκρεμότητα, όμως, για οικονομικούς λόγους. Τα πρώτα αρχαιολογικά ευρήματα στην Ελλάδα στεγάζονταν σε δημόσια κτίρια, σχολεία, εκκλησίες, νοικιασμένα σπίτια και καταστήματα. Στους κρατικούς προϋπολογισμούς από τον 19ο αιώνα, αναγράφονταν ποσά για ενοίκια κτισμάτων (ακόμη και υπογείων), όπου φυλάσσονταν αρχαιότητες σε ονομαστές ιστορικές περιοχές (Μυκήνες, Τανάγρα, Δελφοί, Μύκονος κ.ά.). Στις εκκλήσεις των αρχαιολόγων του 19ου αιώνα επαναλαμβάνονται συνεχώς διαπιστώσεις της μορφής: «Επειδή το οίκημα (της φύλαξης) είναι ακατάλληλον κ.λπ., παρακαλούμεν το υπουργείον, όπως μεριμνήσει διά τα δέοντα…».
Τα ευρήματα στην αρχαία Ολυμπία (1875-1881), εντυπωσιάζοντας και τροφοδοτώντας τον παγκόσμιο θαυμασμό, με κορυφαίο τον Ερμή του Πραξιτέλους, είχαν καλύτερη τύχη. Χάρη στους Γερμανούς, που έκαναν τις πρώτες συστηματικές ανασκαφές, και τον Ανδρέα Συγγρό. Εκεί κτίστηκε (1883-1886) το πρώτο μουσείο κοντά σε ανασκαφή, με σκοπό να στεγάσει τα ευρήματά της. Ήταν το μοναδικό του είδους του σε ολόκληρο τον μεσογειακό χώρο.
Σύμφωνα με τον πρώτο αρχαιολογικό οδηγό της Ολυμπίας, που κυκλοφορούσε μετά τα εγκαίνια (Μάιος 1887) «το μουσείον ωκοδομήθη τω 1886 κατά σχέδια των καθηγητών Adler και Dorpfeld, δαπάναις του Α. Συγγρού. Εδαπανήθησαν 220 χιλ. δρχ. Η εκτέλεσις εγένετο υπό του Γερμανού αρχιτέκτονος Siebold. Η είσοδος κοσμείται διά δύο κιόνων δωρικού ρυθμού κατά το πρότυπον του ναού Διός. Το εσωτερικόν διαιρείται εις τέσσαρεις κυρίους χώρους: εις την μεγάλην κεντρικήν, εις την αίθουσαν του Ερμού και εις δύο πλαγίους πτέρυγας…».
Από την πρώτη σελίδα του οδηγού σημειώνεται, μαζί με τη γενική περιγραφή: «Διαρκώς εν Ολυμπία διαμένει ο βοηθός Εφορείας Π. Βουλισμάς όστις εν τω Μουσείω κατοικών μετ’ άλλου προσωπικού επιτηρεί τα εν τω Μουσείω και κατά χώραν αρχαία μνημεία…».
Το μουσείο κτίστηκε στους πρόποδες του βουνού Δρούβα σε ένα σημείο που δεσπόζει στον αρχαιολογικό χώρο. Σύμφωνα με την τυπική περιγραφή είναι ισόγειο κτίσμα νεοκλασικού ρυθμού (με συνολική επιφάνεια 1.200 τ.μ. και ο όγκος του περίπου 7.000 κυβικά μέτρα). Στέγαζε το σύνολο των ευρημάτων που είχαν έρθει στο φως: «130 αγάλματα ή ανάγλυφα μαρμάρινα, 13.000 εκ χαλκού αντικείμενα, 6.000 νομίσματα, 400 επιγραφαί, 1.000 πλίνθινα αντικείμενα, 40 μνημεία» και ο κατάλογος συνεχιζόταν. «Τοιαύτη ήτο η καταπληκτική των εξερευνητών λεία», όπως σημειώνεται εκείνη την εποχή.
Το 1923 διαπιστώθηκε καθίζηση του εδάφους και πάρθηκαν μέτρα στήριξης του οικοδομήματος. Περισσότερο κινδύνευε ο Ερμής, που μεταφέρθηκε σε ιδιαίτερο οικίσκο εκτός του μουσείου. Το 1931 πραγματοποιήθηκε προσθήκη νέου χώρου, στη βόρεια πλευρά του κτιρίου, για τον Ερμή. Το 1954 έπαθε σημαντικές φθορές από σεισμό κι έναν χρόνο μετά έγινε εκτεταμένη σωστική παρέμβαση στο εσωτερικό του κτιρίου.
Το 2002 διαμορφώθηκε το μουσείο όπως είναι σήμερα εν όψει των Ολυμπιακών. Υποτίθεται ότι από τότε που κτίστηκε το Νέο Μουσείο (1982) και το παλιό επαναλειτούργησε ως Μουσείο Ιστορίας των Ολυμπιακών Αγώνων ήταν καλά φυλασσόμενο, λόγω και του ολυμπιακού χαρακτήρα του.
Οι ανασκαφές στην Ολυμπία είχαν αρχίσει το 1875 και «επί εξ αλλεπάλληλα έτη, από του Οκτωβρίου μέχρι του Μαΐου, 300 εργάται ειργάζοντο εις το κολοσιαίον τούτο έργον». Η αυτοκρατορική Γερμανία δαπάνησε για το έργο 800.000-900.000 χρυσά φράγκα. «Ένεκα της γενναιότητος του αυτοκρατορικού πρίγκηπος (κατοπινού Κάιζερ Γουλιέλμου) δι’ επιχείρησιν όλως επιστημονικήν, εξ ης ουδέ εν μνημείον διά τα μουσεία αυτής έλαβεν».
Το τελευταίο δεν ήταν απολύτως ακριβές, αφού οι Γερμανοί εξασφάλιζαν το δικαίωμα να πάρουν, εκτός από αντίγραφα, τα διπλά και πολλαπλά ανασκαφικά ευρήματα, όπως και έγινε λίγο αργότερα (1885). Αλλά αυτό που είχε σημασία είναι ότι ακόμη και σήμερα, όταν οι αρχαιολόγοι μιλούν για κείνο το τεράστιο έργο, το αξιολογούν με άριστα σε όλους τους τομείς.
Το έργο έγινε δυνατό μετά από συμφωνία μεταξύ της ελληνικής κυβέρνησης και της Γερμανίας το 1875. Είχαν προηγηθεί διαβουλεύσεις μερικών χρόνων, μετά από εκδήλωση σχετικής επιθυμίας του Γερμανού διαδόχου. Ο τελευταίος υπήρξε μαθητής του περίφημου αρχαιολόγου και ιστορικού Ερνέστου Κουρτίου (Ernst Curtius-φώτο) που ήταν και ο συντονιστής των ανασκαφών.
Στην πορεία των ερευνών και με το πλήθος των ευρημάτων, που κατέπλησσαν διεθνώς, πρόβαλλε επιτακτικά η ανάγκη για την ανεύρεση στέγης. Έτσι, μετά από υπόδειξη του βασιλιά Γεωργίου Α’, έσπευσε το 1879 ο Ανδρέας Συγγρός να διαθέσει το απαιτούμενο ποσό. Ήταν η εποχή που ο χρυσοκάνθαρος τραπεζίτης έφερε το στίγμα του «λαυριοφάγου». Όπως έλεγαν τότε πολλοί ήθελε να ξεπλύνει τις αμαρτίες του για το «γδύσιμο» χιλιάδων μικροεπενδυτών με τη «φούσκα» των μετοχών του Λαυρίου.
Η ελληνογερμανική συμφωνία για τις ανασκαφές στην αρχαία Άλτι αντιμετωπίστηκε αρχικώς με καχυποψία. Όπως σημειώνει Γάλλος αρχαιολόγος της περιόδου εκείνης, «η ανάμνησις του λόρδου Έλγιν είναι εκ των πραγμάτων των δυσκόλως λησμονουμένων υπό του λαού. Έπρεπεν ωσαύτως επί πολύ να διαγωνισθώσιν προς τους ισχυρογνώμονας εκείνους πατριώτας, οίτινες ενόμιζον όλως ανάρμοστον να αφήσωσι τοις ξένοις την φροντίδα να ανασκάψωσιν τα αριστουργήματα της αρχαίας Ελλάδος».
Η σύμβαση για την Ολυμπία σηματοδότησε την αρχή μεγάλων αρχαιολογικών επιχειρήσεων. Αποτέλεσε πρότυπο για ανάλογες παραχωρήσεις. Αμέσως μετά την υπογραφή η Γαλλική Αρχαιολογική Σχολή (είχε συγκροτηθεί από το 1846) κατέθεσε παρόμοιο σχέδιο για ανασκαφές στους Δελφούς. Οι όροι που συμφωνήθηκαν ήταν ευνοϊκότεροι για την Ελλάδα. Παρέμειναν στην ιδιοκτησία της όλα τα ευρήματα, χωρίς την υποχρέωση παραχώρησης των διπλών ή όμοιων αντικειμένων. Ακολούθησαν παρόμοιες με την Αμερικανική Σχολή (1882), τη Βρετανική Σχολή (1886) κ.ά.