Dit is het hoogste gegografische punt van de provincie Noord-Holland.

De heuvel dankt zijn huidige naam aan een stenen oriëntatietafel.
Mr. Johan Wtenbogaert (Uyttenbogaert 1608-1680) ) plaatste ca. 1650 de eerste orientatietafel, met houten dak op vier palen, op de Kooltjesberg. Die naam was een verwijzing naar de vuren die op de heuvel aangestoken werden ten behoeve van de Huizer vissers op de Zuiderzee.
Deze Uyttenbogaert had ca. 1645 nabij Vesting Naarden het Landgoed Kommerrust gesticht.
die in 17e eeuw door de heer Uyttenbogaert is geplaatst.
Op de tafel stonden het familiewapen en daaromheen de namen van de streken, plaatsen en landgoederen die vanf de heuvel te zien waren.

Begin 18e eeuw is de tafel vervangen door een ronde witte marmeren plaat, mogelijk door burgemeester van Amsterdam Hendrik Bicker, die het landgoed Hilverbeek in 's-Graveland bezat. De aquarellen van Jacob Cats laten deze situatie zien.

In 1714 werd de tafel vervangen door ander exemplaar. In latere jaren hebben hier verschillende torens en tafels gestaan.
In 1921-1922 werd de hele Tafelberg afgegraven en vervangen door een betonnen waterreservoir (diam. 14 m) ten behoeve van de P.W.N, waarna de heuvel weer in ere werd hersteld en iets hoger werd gemaakt (oude hoogte 36,4 werd 38,2 boven N.A.P.)
In 1934 werd een door archtitect Wouter Hamdorff ontworpen toren geplaatst van 6 meter hoog met daarop een via een wenteltrap bereikbaar platform. De toren is na WOII verwijderd.
In 2019 is weer een nieuwe tafel neergezet en is de bestrating op de top vernieuwd, evenals de trap, die toegang geeft tot de top.
Officiële opening van de vernieuwde tafelberg op 14 februari 2020 door directeur-rentmeester van het GNR Karin Kos en de wethouders Marlous Verbeek (Huizen) en G.C. (Gerard) Knoop (Blaricum). 47 treden

Bronnen:
Gooi & Eemlander, 5 februari 2020
Goois Natuurreservaat
Gooiland, geschiedenis van Gooiland van 900 tot 2007
De tafel van Tafelberg - Historische Kring Bussum