Nella più antica residenza dei Wittelsbach, le cui origini si perdono nel XII secolo, nacque, nel 1282, Ludovico il Bavaro, imperatore del Sacro Romano Impero. I Wittelsbach lasciarono la residenza nel XV secolo e tutto quello che i visitatori possono vedere è il cortile centrale, dove il bovindo sulla facciata meridionale era soprannominato "Torre della Scimmia" in onore di una scimmia che, secondo una delle leggende locali più bizzarre, salvò l’imperatore in fasce dalle grinfie di un maiale inferocito.