白峯寺には玉章木(たまずさのき)の伝説が残っています。
都を慕われた崇徳上皇はホトトギスの鳴き声にも都を偲ばれ、「鳴けば聞く　聞けば都の　恋しきに　この里過ぎよ　山ホトトギス」と詠じられました。
ホトトギスはその意味を察して、その後はこの大木の葉を巻いてくちばしを差し入れ、声を忍んで泣いたといいます。
その巻いた葉の形が玉章（手紙）に似ているため、ホトトギスの落し文と呼ばれ、その葉を懐中にすれば良い文があるとされています。

配流後も崩御後も、後白河院は崇徳上皇を完全に罪人として扱い、服喪もしませんでした。
しかし崩御の翌年には後白河院の皇子の二条天皇が、また次代の六条天皇の摂政が亡くなりました。

崩御12年後から後白河院の近親者が相次いで亡くなり、崇徳上皇の御霊が意識されるようになりました。更に翌年には京都で大火（太郎焼亡）が起こり、京都市内の1/3が焼け落ち大極殿も焼失します。
翌年にも大火（次郎焼亡）が起こりました。
二つの大火と崇徳上皇の怨霊とを結び付けて考えたのは他ならぬ後白河院でした。
これ以降崇徳上皇の鎮魂の為に、讃岐院に代わり、崇徳院という諡号（しごう,天皇を称えた号）が初めて贈られました。

このような後白河院の対応の遅れが後の世まで尾をひき、御霊伝説が定着していきました。
白峯寺の入り口近くには、保元の乱で敵方であった源義朝の子の頼朝により、崇徳院の菩提を弔うため十三重石塔が建てられています。