Vanaf 1795 is er in ons land een Franse legermacht gelegerd. In 1804 wordt generaal Marmont commandant van zowel onze (Bataafse) als de Franse troepen. Om daarvan een eenheid te maken besluit Marmont om ze goed te oefenen. Daartoe laat hij het oog vallen op de heide tussen Woudenberg en Zeist. Er ontstaat daar een enorm tentenkamp. Ook worden veel burgers ingeschakeld om het enorme leger van rond de 18.000 man te verzorgen. Hun onderkomens zijn het begin van het huidige dorpje Austerlitz.
Al snel is Marmonts leger omgevormd tot een goed geoliede vechtmachine. En omdat de nazomer van 1804 fraai is, besluit hij dat hij en zijn soldaten nog wel enige tijd kunnen blijven, voordat ze weer zullen vertrekken naar hun winteronderkomens. Maar dan moet er wel wat voor ze te doen zijn. Daarom geeft hij de opdracht aan zijn troepen om een piramide van zand en heideplaggen op te werpen. Zes jaar daarvoor was Marmont met Napoleon op militaire campagne geweest naar Egypte. Daar had hij de machtige piramides van de farao's gezien. Zoiets groots wilde hij de wereld ook nalaten. In slechts 27 dagen verschijnt, met militaire precisie, dat bouwwerk op een van de hoogste punten van de Utrechtse Heuvelrug.
Bovenop wordt een houten obelisk aangebracht en laat Marmont een loden buis, met daarin enkele documenten, in het geheel begraven. De combinatie piramide met daar bovenop een houten obelisk is uniek in de wereld.
De Pyramide wordt feestelijk geopend op 12 oktober 1804 en wordt opgedragen aan keizer Napoleon. Daarvan getuigen nog de 4 stenen gedenkplaten die opnieuw zijn aangebracht. Marmont hoopte dat het monument ook altijd zijn naam zou dragen, maar helaas voor Marmont doopte koning Lodewijk het monument al na 2 jaar om in de ‘Pyramide van Austerlitz’. Dat ter ere van de grote overwinning van Napoleon in 1805 op de Oostenrijkse en Russische legers bij Austerlitz (nu Slavkov) in Tsjechië.
Al snel blijkt de vergankelijkheid van de Pyramide. De erosie slaat toe. De vorm van de Pyramide met rechte hoeken verandert in een kegelvormige heuvel. De houten obelisk wordt in 1808 verwijderd. Die was helemaal scheef gezakt.
In 1894 laat de burgemeester van Woudenberg, J.B. de Beaufort, een stenen obelisk plaatsen. Die staat er dus al langer dan een eeuw.