1122-1313
In einer Urkunde wird 1122 ein "Thiemo de Chalwinberch" erwähnt. Dieses edelfreie Geschlecht ist auf Callenberg bis 1231 nachweisbar. Der letzte auf Callenberg ansässige Edelfreie, Ulrich III., verkaufte die Burg an das Bistum Würzburg 1231. Doch wohl bereits im folgenden Jahr befand sich die Burg in Händen des Grafen Poppo VII. von Henneberg. 1313 erwarb der Ritter Hermann Hunt (Hund) von Sternberg von Graf Berthold VII. von Henneberg "Feste Callenberg" und erhielt sie als Lehen.

1592-1826
Nach dem Aussterben der von Sternberg kam die Burg 1592 durch Heimfall in den Besitz von Herzog Johann Casimir von Sachsen-Coburg. Bis 1825 war das Kammergut und Schloß Callenberg im Besitz der Herzöge von Sachsen-Meiningen. Erst 1826 dürfen sich die Coburger Herzöge wieder als Herren von Schloß Callenberg glücklich schätzen.

1831-1945
1831 ist der Neubau des oberen Schlosses, wohl nach Plänen von Carl Alexander von Heideloff, abgeschlossen. In den Jahren 1856/57 wird die untere Schloßanlage unter Herzog Ernst II. im Stil der Neugotik umgestaltet.
Bis 1945 war das Schloß Sommerresidenz der Coburger Herzöge.

Seit 1998
Nach umfangreichen Restaurierungsmaßnahmen wurde der ehemalige Sommersitz der Coburger Herzöge wiederhergestellt und beherbergt seit 1998 den Herzoglichen Kunstbesitz SCG mit kostbaren Möbelstücken, Gemälden, Porzellanen, kunstgewerblichen Arbeiten und einer Auswahl von Waffen aus vier Jahrhunderten.

Weitere geschichtliche Informationen über das Herzogliche Haus von Sachsen-Coburg und Gotha finden sich unter
www.sachsen-coburg-gotha.org.