Najstarsze, gotyckie założenie zamkowe w Żywcu powstało za czasów Komorowskich i składało się z wieży mieszkalnej, drewnianych zabudowań oraz płytkiej fosy.
Później budowla stała się obronną fortecą, by pod koniec XVI wieku nabrać cech renesansowej reydencji z krużgankami i attykami.