A kastély Ostffyasszonyfa központjában található, nevét korai birtokosáról gróf Károlyiról kapta. Az épület felújításának első lépéseként a tetőt, a mennyezetet és az ereszcsatornát újították fel, az épület szerkezetének megóvása érdekében. További külső renoválási munkálatok folynak jelenleg, melynek utolsó fázisa az épület dedikálását követően fog befejeződni.