Čtyřřadá lipová alej vedoucí ke kostelu na Uhlířském vrchu byla vysázena v letech 1766 až 1770. Na vrcholku Uhlířského vrchu je poutní kostel zasvěcený Panně Marii Pomocné a je odsud nádherný výhled do okolí. U horní části aleje poutníky ke svatostánku provází velice originální křížová cesta.
Katovna je měšťanským domem vystavěným v barokně-rokokovém stylu opředená legendou o tom, že zde žil jesenický kat. V současné době se zde nachází informační centrum.
Filiální kostel Navštívení Panny Marie, zvaný kaple V Lipkách, je nejhodnotnější historickou památkou současného Rýmařova, která svým významem zdaleka přesahuje regionální úroveň. Kaple V Lipkách, jak se katolická svatyně nazývá už odnepaměti, je právem považována za perlu severomoravského baroka.