Původ Mlýnského kamene je spojen s pověstí o potrestaném mlynářovi. Kdysi dávno se budislavský mlynář rozhodl skácet hraniční jedli, oddělující panství baronky Nádherné od litomyšlského velkostatku. Při kácení byl přistižen hajným a za jeho čin ho stihl trest - musel sám bez pomoci donést na místo jedle půl mlýnského kamene ze svého mlýna. Když po dlouhé a namáhavé cestě donesl kámen na určené místo, padl k zemi a v tu chvíli byl mrtvý. Možná vysílením, možná mu puklo srdce, jak říkali lidé. Kámen zde zůstal dodnes, na místě mlynářova smrti stojí dřevěný kříž.