Um 1250 n.Chr. lässt Graf Johann I von Schauenburg in Oldesloe eine Burg bauen. Sie sichert die Nordflanke der kleinen Stadt und schützt so den Hafen an der Hude. 1415 n.Chr. wird sie auf Betreiben der Lübecker von Erich V von Sachsen-Lauenburg zerstört. Noch heute treten aus dem Fuss des Kirchbergs unterhalb des Pastorates immer wieder Scherben zutage und erzählen so von der bewegten Geschichte.
