Das Schloss der Grafen von Bissingen und Nippenburg gilt als eines der bedeutendsten Kulturdenkmäler Schrambergs. Am Sonntag ist der 125. Todestag von Graf Cajetan von Bissingen und Nippenburg. Er hat dieses Gebäude von 1840 bis 1843 gebaut. An ihn erinnert Schrambergs Stadtarchivar Carsten Kohlmann:
In der Mitte des 19. Jahrhunderts entstand in Schramberg ein im mittleren Schwarzwald einzigartiges Ensemble spätklassizistischer Architektur aus Schloss und Pfarrkirche, das bis heute den Geist der Epoche widerspiegelt, in der Graf Cajetan von Bissingen und Nippenburg (1806-1890) lebte. Die in dieser Zeit völlig neu gestaltete Adelsresidenz brachte die Architektur und Gartenkunst der Landeshauptstadt Stuttgart nach Schramberg.
Der von Graf Cajetan von Bissingen und Nippenburg beauftragte Architekt Friedrich Bernhard Groß (1783–1861) orientierte sich an dem 1824/30 von dem württembergischen Hofbaumeister Giovanni Salucci (1769-1845) aus Florenz gebauten Schloss Rosenstein und dem 1834/40 ebenfalls von ihm gebauten Wilhelmspalais. Wie das Schloss Rosenstein wurde auch das Schloss Schramberg damals als „Landhaus“ bezeichnet.

Das Schloss wurde in einen bereits bestehenden Park eingebettet, der von dem Oberhofgärtner Johann Wilhelm Bosch (1782–1861) neu gestaltet wurde. Der führende Gartenbaumeister des Königsreichs Württemberg folgte vermutlich in Schramberg wie in Stuttgart dem Vorbild der Parklandschaften Südenglands, die er bei einer Studienreise selbst erkundet hatte. Auf dem historischen Parkgelände befinden sich heute die Bahnhofstraße, das Polizeigebäude, ein Parkplatz, ein Textilgeschäft und ein Supermarkt.
Im Bau des Schlosses, das einen Vorgängerbau ersetzte, zeigt sich ein neues Selbstbewusstsein der Adelsfamilie. Graf Cajetan von Bissingen und Nippenburg hatte 1834 die Besitzungen in Schramberg mit seinem Bruder Graf Ernst von Bissingen und Nippenburg gegen die Besitzungen in Ungarn eingetauscht. Im gleichen Jahr verheiratete er sich mit Gräfin Maria Ludovica von Warsberg (1814-1879), mit deren Unterstützung er die im Gefolge der Mediatisierung in eine Existenzkrise geratene Herrschaft Schramberg mit Erfolg sanieren konnte. Im Treppenhaus des Schlosses ist bis heute ein prachtvolles Glasfenster mit dem Allianzwappen des Ehepaares zu sehen.
Graf Cajetan von Bissingen und Nippenburg machte eine beeindruckende Karriere im österreichischen Staatsdienst, in der er es bis zum Statthalter von Tirol und Vorarlberg (1849-1855) und zum Statthalter von Venedig (1855-1860) aufstieg. Die Städte Wien, Innsbruck, Feldkirch, Bregenz und Bludenz ernannten ihn zum Ehrenbürger. 1860 kehrte er dauerhaft nach Schramberg zurück. Außerdem war er ritterschaftlicher Abgeordneter in der württembergischen Kammer der Abgeordneten (1845-1868), Mitglied des Frankfurter Vorparlaments und des so genannten Fünfzigerausschusses (1848) und Mitglied der Zentrumsfraktion im Reichstag (1872-1881).
1843 kaufte er auf der Suche nach einer Familiengrablege die Falkensteiner Kapelle, mit der er sich als sehr gläubiger Katholik zutiefst verbunden fühlte. 1861 wurde als erstes Familienmitglied seine Tochter Gräfin Maria Anna Theresia von Bissingen und Nippenburg (1835-1852) beigesetzt, deren Gebeine aus Innsbruck nach Schramberg gebracht wurden. Auch er selbst fand hier nach seinem Tod am 10. Mai 1890 seine letzte Ruhestätte.
Ein Nachruf im „Schwarzwälder Bote“ würdigte ihn vor 125 Jahren als „eine Persönlichkeit voll Religiosität und Glaubensstärke und edler Gesinnung, voll Mut und Thatkraft, ein Mann von großem Wissen, voll Freundlichkeit und Herablassung, voll köstlichen Humors und treffenden Witzes.“ Sein Leben und seine Zeit sind in seiner Heimatstadt weitgehend in Vergessenheit geraten und sollten wieder neu entdeckt werden.