かつて厩戸皇子（聖徳太子）が比叡山に登られた際に、常に護持しておられた観音像を安置して建てられたのが始まりと言われています。
お堂のそばに杖として使われた椿の枝をさしておかれたところ、その椿が芽を出して大きく育ったとの伝説から椿堂と呼ばれるようになりました。