Nejstarší zachovalou kamennou stavbou ve městě je budova sboru Jednoty bratrské vybudovaná v letech 1553 až 1555. Jednotě bratrské byl sbor zabrán vrchností - Lichtenštejny a odprodán jako obytná budova. Na konci 18. století byl upraven do dnešní podoby včetně mansardového zastřešení. Roku 1901 získala obnovená Jednota bratrská dům opět do svého vlastnictví. To symbolizuje reliéf beránka s praporem v kartuši nad vstupním portálem.
Další významnou stavbou ve městě je pozdně secesní budova gymnázia s prvky individualistické moderny. Byla postavena v letech 1910 - 1914 podle projektu pražského architekta Jana Pacla pro obecnou a měšťanskou chlapeckou školu. Průčelí je ozdobeno reliéfy od Josefa Drahoňovského, vnitřní výzdoba je dílem Josefa Mařatky, Josefa Šejnosty a Ladislava Jana Kofránka. Součástí školní budovy je Sokolovna.
Tkalcovské domky
Až do konce 19. století v životě značné části obyvatel města hrálo význačnou roli domácké tkalcovství. Tato činnost byla soustředěna hlavně v níže položené části města - na tzv. Podměstí a výrazně ovlivňovala jeho vzhled. Stály zde typické dřevěné přízemní chalupy kryté vysokou sedlovou střechou založené na protáhlém obdélníkovém půdorysu s velkou světnicí v interiéru, v níž rodina nejen žila, ale kde se také na stavu tkalo a probíhaly zde i další práce spjaté s touto činností. S nástupem tovární textilní výroby v poslední třetině 19. století ruční tkalcovství postupně zanikalo. Velká část této zástavby zanikla na přelomu šedesátých a sedmdesátých let 20. století při budování silničního průtahu městem. Původní vzhled si zachovalo jen několik chalup v Zahradní ulici, které jsou dnes chráněny státem jako památka na podobu ústeckého „tkalcovského“ Podměstí.
