Dominantou Havlíčkovy Borové i jejího okolí je zdaleka viditelný gotický kostelík na kopci, který je zasvěcený svatému Vítu a vystavěný v 15. století na místě, kde dříve stávala románská hornická kaple. Právě tento kostel zmiňuje ve svých Tyrolských elegiích nejznámější borovský rodák Karel Havlíček Borovský. Dnes borovskému náměstí vévodí Havlíčkův pomník, jenž byl odhalen v roce 1901. Známý je i Havlíčkův rodný dům, který se nachází nedaleko náměstí. Dům s kupeckým krámem roku 1817 postavil Matěj Havlíček, který si tam založil živnost. V roce 1818 se oženil s Josefou Dvořákovou a 31. října 1821 se jim narodil syn Karel. V Havlíčkově rodném domě funguje muzeum, objekt patří mezi národní kulturní památky, v současné době je jeho majitelem městys Havlíčkova Borová.  Kromě expozice o Karlu Havlíčku Borovském je v muzeu k vidění například i expozice věnovaná rodáku Josefu Stránskému, v roce 1991 povýšenému do hodnosti plukovníka in memoriam, a příslušníkům 311. bombardovací peruti RAF z Vysočiny, již padli za druhé světové války. Válečný letec Josef Stránský zahynul v roce v červnu 1944 při bojovém letu nad Normandií.