Trefløjet anlæg i bindingsværk, to etager og 15 fag til gaden. Både i under- og overetage rigt egebindingsværk med dobbelt skråstivere i hvert fag. Stokværksfremspring båret af svejfede renæssanceknægte, Blyindfattede vinduer, indgangsdør med fritrappe og port i de to østligste fag. Blåviolet tømmer og rødkalkede tavl – en farveholdning, der blev gennemført ved restaureringen i 1911 og som er typisk for den tids romantisering af ældre bygninger. Indtil 1911 stod bygningen overkalket, og vinduerne var i løbet af 1800-tallet blevet almindelige seksrudede. Gården blev fredet 1918.

Mod gården står forhuset med åben, stærkt udkragende svalegang. I øst sidehus i to etager bindingsværk med gårdsiden stærkt udkraget, båret af lange lige knægte; mod syd afvalmet gavl. I vest et endnu længere sidehus i to etager bindingsværk med almindelig stokværksudkragning; afvalmet gavl i sy samt mod gården en etfags gavlkvist med luge. Syd herfor en bygning i grundmur, gulkalket med hvid profileret taggesims, ”palævinduer” og helvalmet tegltag mod syd – og mod Vestervoldgade en ca. to meter høj gulkalket mur, heri en rundbuet døråbning.

Af den trelængede gård er fløjen langs gaden opført af borgmester Mads Lerche i 1601. Hans søn Jacob Lerche, udbyggede anlægget med de to øvrige fløje inden sin død i 1658. Bygningen var i sine første år beboet af folk knyttet til Slottet og statsmagten.

Den smukke bygning med bindingsværk af egetræ overlevede de store bybrande i 1796-97. I 1911 blev der stiftet en lokalhistorisk forening for Nyborg, og i forbindelse hermed købte de to brødre A. S. og I. Sibbernsen gården og førte den tilbage til sit oprindelige udseende med hjælp fra arkitekt Mogens Clemmensen. Herefter blev bygningen skænket til Nationalmuseet mod at den skulle rumme Nyborg Museum samt det første offentlige bibliotek i byen.

Frem til 1939 deltes biblioteket og museet om bygningen, med bibliotek i stueetagen og museum på første sal. Da biblioteket flyttede over i en nyopført bygning til formålet fik Nyborg Museum således hele Mads Lerches Gård. Den 1. januar 2009 fusionerede museet med Kerteminde Museum og blev en afdeling af Østfyns Museer. Borgmestergården gennemgik en restaurering og nyindretning 2017-18.