Der Steinbau, von 1224 an für fast 200 Jahre im Besitz des Erzbischofs von Köln als Miteigentümer von Stadt und Burg, steht neben dem Fachwerktrakt, dem Grafenhaus – einst Wohnsitz der Nassauer. Nach 1623, als das kleine Land unter den Söhnen Johann VII. aufgeteilt wurde, entstand ein 2. landesherrlicher Wohnsitz, das Untere Schloss als Sitz der protestantischen Linie des Hauses Nassau-Siegen. Im Oberen Schloss residierte bis 1743 die katholische Linie des Hauses, dann wurde die Anlage Dienstort für Verwaltungsbeamte, Waisenhaus und schließlich ab 1905 sukzessive Museum,

Das Museum gliedert sich in seinen Dauerausstellungen in fünf Abteilungen. Etwa 2500 Jahre lang bildeten Eisengewinnung und –verarbeitung die Grundlagen der regionalen Wirtschaft. In einem Schaubergwerk ist die Arbeit unter Tage nachgezeichnet. Die königlich-preußische Bergschule (1815-1854) spielt hier eine besondere Rolle. Möbel des 18. und 19. Jahrhundert und eine stadtgeschichtliche Abteilung (www.zeitraum-siegen.de) befinden sich im Dachgeschoss der Anlage. Unweit des Oberen Schlosses wurde 1577 der flämische Barockmaler Rubens geboren. Das Museum präsentiert ihn in großformatigen Gemälden und einer umfangreichen grafischen Sammlung. Die einstigen Grafen von Nassau-Siegen pflegten enge Beziehungen zu den Statthaltern der Niederlande. Neben Wilhelm I. von Oranien, dem „Vater des Vaterlandes“ der vereinigten Provinzen der Niederlande, spielt Fürst Johann Moritz von Nassau-Siegen eine wichtige Rolle in den Sammlungen. Der Großneffe des „Schweigers“ war u.a. niederländischer Kommandant der rechtsrheinischen Festungen und brandenburgischer Statthalter in den Städten Kleve, Mark und Ravensburg.