Hovedbygningen mod Slotsgade fremstår som en samlet blok i to etager, afsluttet med et helvalmet tegltag. Den pudsede facade mod Slotsgade er inddelt i kvaderlisener og bygningen har til alle tre sider taggesims med tandsnit. Sokkel af tilhuggede granitkvadre.

Sidebygningen mod Kongegade står i overkalket bindingsværk. Bindingsværkets konstruktion et typisk træk for tiden omkring 1800 – men muligvis er der tale om ældre bindingsværk, der i anledning af ombygningen omkring 1800 er blevet helt omsat for at svare til den nye tids smag mht. glatte facader. Omkring 1898 blev bindingsværket skjult af puds med bånd og refendfuger, således som facaden fremstod ved renoveringen i 1979, og i tømmeret ses nu hugspor fra denne overpudsning.

Gyldencrones Palæ er formodentlig opført omkring 1600 af røde renæssancetegl, der efter den store bybrand i 1797 blev ombygget af fæstningskommandant baron Christian Wilhelm Gyldencrone til det nuværende klassicistiske udtryk. Forinden, fra 1724 til 1797, var her købmandsgård ejet af jødiske købmænd. Fra 1797 til 1809 var palæet bolig for fæstningskommandanten, og fra 1810 til 1913 anvendt til kommunale formål: som latinskole 1810-1839, som realskole 1939-1888, som friskole 1888-1898, og endelig som Kommunal Kaserne 1898-1913. Siden 1914 har bygningen været privatbolig.

Trods det klassicistiske ydre skiller bygningen sig tydelig ud fra bygningerne opført efter branden i 1797. Etagerne er meget høje, taget helvalmet, og huset har ikke de afskårne hjørner, som ildebrandshusene fik.