Po raz pierwszy wspomniany w 1222 roku, zamek Stolpen widział wiele światła i jeszcze więcej cienia;
Husyci, Szwedzi, Prusacy i Francuzi zniszczyli twierdzę, która została spustoszona przez zarazę i pożary. Zamek słynie przede wszystkim z rozgrywek o władzę na saskim dworze. Stolpen zawdzięcza im swoją najsłynniejszą mieszkankę: hrabinę Cosel. Wygnana Anna Constantia hrabina Cosel pozostawała za murami zamku przez prawie pół wieku, aż do śmierci. Sprytna kochanka Augusta Mocnego narobiła sobie politycznych wrogów i padła ofiarą oportunizmu swojego wyborczego partnera. Bazalt, na którym stoi zamek Stolpen, jest równie twardy jak los Cosel. Wraz z najgłębszą na świecie niezagospodarowaną studnią bazaltową stanowi narodowy geotop.