Kurfürst Friedrich der Weise verbrachte Zeit hier. Die Lochauer (heute Annaburger) Heide war sein bevorzugtes Jagdgebiet. Mit ihm und später seinem jüngeren Bruder Johann dem Beständigen, weilte auch der enge Vertraute Martin Luthers und Beichtiger des Kurfürsten, Georg Spalatin, des öfteren hier. Kurfürst August von Sachsen (1526–1586) schenkte das Schloss seiner Gemahlin Anna, einer geborenen Prinzessin von Dänemark, und gab einen Neubau in Auftrag. Zwischen 1572 und 1575 wurde das Hinterschloss im Renaissancestil neu errichtet. Hier findet man heute ein Museum zur Schlossgeschichte.
Die ehemals von einem Wassergraben umgebene Vierflügelanlage wird von eindrucksvollen Renaissance-Giebeln bekrönt. Kurfürst August und Kurfürstin Anna hatten großen Anteil daran, dass sich Sachsen in einen lutherischen Konfessionsstaat wandelte. „Mutter Anna“ betrieb in Annaburg unter anderem eine Apotheke und eine Alchimistenküche. Seit dem 17. Jahrhundert wurde das Schloss überwiegend als Verwaltungssitz genutzt. 1762 wurde eine Militär-Knaben-Erziehungsanstalt eingerichtet, in der 500 „arme Soldatenkinder“ evangelischen Glaubens unentgeltlich erzogen wurden. Zu dieser Einrichtung kam noch eine Unteroffiziersschule dazu. Die militärische Nutzung endete 1921.
Nicht verpassen sollte man auch den Stifel-Brunnen auf dem Annaburger Markt, nahe der Kirche. Er erinnert an den Pfarrer Michael Stifel, der im 16. Jahrhundert lebte. Der Augustinermönch hatte sich den Ideen Luthers angeschlossen. Auf Betreiben Luthers erhielt er die Pfarrstelle in Lochau (heute Annaburg), wo Luther persönlich ihn mit der Witwe seines Vorgängers traute. Stifel war fasziniert von der Welt der Zahlen. Er deutete die Bibel mathematisch und berechnete für den 19. Oktober 1533 um 8 Uhr morgens den Weltuntergang. Seine Gemeinde stimmte er auf das bevorstehende Ende ein: Die Bauern bestellten ihre Felder nicht mehr, Pilger zogen zu ihm, um zu beichten. Doch der Termin verstrich. Stifel wurde verhaftet. Später wieder freigekommen, war er an wechselnden Orten Pfarrer, ehe er als erster Professor für Mathematik an die Universität Jena berufen wurde. Den Brunnen in Annaburg schuf 1996 der Dresdner Bildhauer Vinzenz Wanitzschke.
