Das Schloss Arnfels liegt auf einem Bergrücken über dem Markt, es wird urkundlich um 1200 erwähnt.
1424 wurde es nach einem Brand wiederaufgebaut, 1976 renoviert. Es ist nur die Nordhälfte erhalten, die durch einen Umbau von 1916 verändert ist. Ein östlicher Turm stammt aus 1693. Von 1681 bis 1912 war es im Besitz der Grafen von Schönborn. Das Schloss ist derzeit im Privatbesitz und steht nicht für Führungen zur Verfügung.