Природният феномен се намира вдясно от пътя свързващ град Хасково и град Кърджали, източно от село Бели пласт.
Каменните гъби са скални образувания от епохата на палеогена, оформили се вследствие на подводна вулканична дейност.
Според легендите Каменните гъби са вкаменените тела на четирите дъщери на въглищаря Радуил, нападнати от група разбойници. Отбранявайкио се, девойките уплашили коня на главатаря, след което той паднал на земята и умрял на място. За да им отмъсти друг от злодеите с ятагана си отсякъл главата на едната девойка. Щом докоснала земята, тя се превърнала в каменна гъба. Същата съдба сполетяла и сестрите ѝ. Злодеят тръгнал да бяга, но при първата крачка, която направил, се вкаменил и се превърнал в тъмната, самотна скала, която днес стои в страни от Каменните гъби.
Достъпът до Каменните гъби е напълно свободен. Мястото не се охранява и въпреки поставените табели, предупреждаващи за крехкостта и ронливостта на гъбите, недобросъвестни посетители не спазват указанията и за голямо съжаление броят на тези прекрасни каменни творения все повече намалява.