Veit Sürg von Syrgenstein kaufte 1482 den Burgstall in Heimenkirch, auf dem noch heute die Burg Syrgenstein steht. Es waren dort wohl auch Gebäude vorhanden, doch welche und in welchem Zustand wissen wir nicht. In den 1490er Jahren begann er die Burg aufzubauen, im frühen 16. Jahrhundert hat sein Sohn Hans Ulrich den Bau fortgesetzt und vollendet. Den Innenausbau, insbesondere des Obergeschosses mit dem beeindruckenden Bibliothekszimmer geht auf ihn zurück. Nächster Schlossherr wird sein Sohn Veit, der aber bald in Kriegsdiensten in den Niederlanden fällt, dass sein Bruder Hans Ulrich, der schon seit 1530, durch die Heirat einer von Königsegg, Burg und Herrschaft Achberg nahe Lindau besitzt, auch den Stammsitz in Heimenkirch erhält. Nach weiteren Erbgängen übernimmt Johann Christoph Rupert (1697-1766), der Schwager des letzten männlichen Erben dieser Syrgensteinischen Linie, das Schloss. Da auch er ohne männlichen Erben stirbt, fällt der Besitz Johann Gottfried von Syrgenstein, dem Haupt der Altenberger Linie zu, die im heutigen Syrgenstein im Landkreis Dillingen zu Hause ist. 1766 erbt der Sohn Johann German, 1795 dessen Sohn Johann Marquard (1768-1812).
Johann Marquard Reichsfreiherr von Syrgenstein
Er ist wahrscheinlich der heute noch bekannteste der Familie von Syrgenstein. Nach einem Jurastudium ist er an den Höfen des Kemptener Fürstabtes und des Fürsten Wallerstein tätig, lebt auf seinen Gütern und zuletzt als Privatier in Kempten, wo er 1812 auch stirbt. Zumindest lokal bekannt wird er als Lyriker, durch die Veröffentlichung von zwei Gedichtbänden, so 1790 DichterischenVersuche meiner Jugend, meinen Freunden gewidmet und 1798 Gedichte . Um die wirtschaftlichen Belange seines Lebens hat er sich offensichtlich nicht bekümmert, denn er verschwendet sein ganzes Vermögen. Selbst der Verkauf der Herrschaft Altenberg 1801 um 133 000 rheinische Gulden an den Fürsten zu Oettingen-Wallerstein reicht nicht aus ihn zu sanieren. Schloss Syrgenstein kann er zwar noch an seine einzige Tochter Caroline vererben, es ist jedoch mit einer hohen Grundschuld belastet. Ihre Bemühungen das Erbe zu erhalten sind letztendes erfolglos, 1824 kommt es zur Zwangsversteigerung, Syrgenstein geht für 13 620 Gulden in Privatbesitz über.
Nach mehreren Besitzerwechseln und einer erneuten Zwangsversteigerung kommt das Schloss 1858 in die Hände des Iren James Whittle aus der Spezies der „Romantischen Briten“, die Mitte des 19. Jahrhunderts Deutschland heimsuchten, um in alten Burgen und Schlössern zu leben und die Empfindsamkeit des Romantischen auszuleben. 24 Jahre lebt er mit einer kleinen englischen Gemeinschaft im Schloss, das er auch teilweise saniert. In dieser Zeit entsteht nahe des Schlosses ein kleiner Englischer Friedhof, der heute leider durch Vandalismus fast zerstört ist.
1882 kaufte Sophie Gräfin Waldburg-Zeil-Wurzach das Schloss. Da ihre beiden Ehen kinderlos blieben, verkaufte sie es 1913 an ihren Neffen Georg Graf Waldburg-Zeil, dessen Nachfahren noch heute auf Schloss Syrgenstein wohnen.
