Der Ort wurde 823 als Naninhofa erstmals genannt. Seit der Mitte des 14. Jh. sind hier die Marschälle von Bergkirchen-Nannhofen nachweisbar. Um 1403/05 erwarb Herzog Ludwig der Gebartete Nannhofen, seither war Nannhofen herzogliche Schlosspflege. Dieser baute die Burg zur „Veste“ aus, die jedoch 1422 im „bairischen Krieg zerstört wurde. Im Auftrag des Münchner Herzogs Willhelm III. wurde sie „noch schöner“ hergestellt. Nach dem Tode Herzog Albrechts III. erwählte sich dessen Witwe, Herzogin Anna, geborene von Braunschweig, Nannhofen zu ihrem Wohnsitz, wo sie auch am 9. Oktober 1474 verstarb. Der Ort wurde herzogliche Hofmark. Er kam 1585 an den Hofkanzler Dr. Elsenheimer und dessen Nachkommen. 1726 kam die Hofmark an Hofkammerrat Johann Baptist Ruffini. 1826 erwarben die Freiherren von Lotzbeck, das Schloss mit dem dazugehörigen Patrimonialgericht (letzteres bis 1848).