Die Burgruine Lützelhardt auf dem gleichnamigen Seelbacher Hausberg ist das älteste Seelbacher Baudenkmal. Sie erfüllte vermutlich eine besondere Funktion als Eckpfeiler des Burgendreiecks Ortenberg,  Lahr, Lützelhardt, welches das Kinzigtal mit der wichtigen Verbindung nach Villingen zum Bodenseeraum und auch die östliche Rheinstraße absicherte.

Der Untergang der Burg ging in die Sage ein. Sie berichtet, dass der Herr von Lützelhardt den Grafen Walther von Geroldseck auf der Jagd gefangen genommen, gefesselt und tagelang durch den Wald hin und her geführt habe, so dass dieser annehmen musste, weit weg geführt worden zu sein. Danach habe man ihn in ein Burgverlies der Lützelhardt gesperrt. Nach ca. zwei Jahren soll er das Grüselhorn, welches das Horn der Lahrer Tiefburg war, gehört und somit herausgefunden haben, dass er gar nicht so weit weg von der eigenen Burg war. Daraufhin habe er den Turmwächter Rublin bestochen, ihm zur Flucht zu verhelfen. Nach monatelanger Erholung habe Graf Walther den Befehl gegeben, die Burg Lützelhardt zu zerstören. Schließlich wurde sie 1235 von den Geroldseckern erobert und niedergebrannt.

1926 bis 1929 wurde die Burg wiederentdeckt und die Reste der Burg vom Schwarzwaldverein ausgegraben.

1971 bis 1973 wurde die Burg restauriert.