Krásná Lípa je poprvé doložena roku 1361 a dlouhou dobu zřejmě byla jediným sídlištěm v celém okolí. Předkové pánů z Lipé povolali tehdy z Horních Frank asi 30 rodin kolonistů. Již dlouho předtím stál nedaleko odtud hrad Krásný Buk, který byl ale roku 1339 zničen a některá jeho práva byla údajně přenesena na majitele Staré rychty, která stála až do roku 1731 na křižovatce cest v místech dnešního Krásnolipského náměstí. Sousední ves Krásný Buk, připomínaná poprvé roku 1485, vznikla pravděpodobně až po válkách husitských.