当山境内には八王子市指定史跡がございます。
本堂の裏手、鉄の扉の向こうに横穴が掘られています。
一般には「穴観音」とも呼ばれるこの横穴が、昭和五十二年四月に八王子市史跡として指定された「高楽寺横穴石仏群」です。
この横穴は全長30メートル、『コ』の字型に掘削されており、胎内巡りを模しています。入口付近は背をかがめてやっと入れる狭さですが、この横穴には観世音菩薩様の誓願を示す三十三体の尊像をはじめ、薬師如来、不動明王、大黒天などの諸像が安置されております。
高楽寺横穴石仏群は震災以降、耐震の都合上、一般参拝を行っておりません。
現在、直接ご覧頂く事はできません。ご了承ください。
この横穴は、今から約二百四十年前の天明五年（一七八五年）に完成したもので、そのときの寺の住職了辯の発願によります。その二年前から五年も続いた天明の大飢饉（浅間の大噴火を受けて、日照不足から空前の大凶作となり、奥羽・関東地方中心に餓死や疫痢の被害が拡がった）があり、五穀豊饒、悪病平癒を祈って、約一年かけて下椚田村（現狭間町）をはじめ地域の善男善女の力を借りて横穴を堀り、自ら秩父三十三観音にちなみ三十三体の観音像を刻み、収めたものです。
このことは、八王子千人同心の一人、上椚田村（現東浅川町）石川家で書き継がれてきた「石川日記」天明五年（一七八五年）の裏表紙でも書き止められております。また、江戸幕府によって作られた武蔵国の地誌「新編武蔵風土記稿」にも、多摩郡由井領「高楽寺」の項で、つぎの記述を見ることができます。
「観音岩窟 寺ノ後ニアリ岩穴二入コト十五間ハカリ向テ左ノ方ヨリ入テ右ノ穴ニイツ内二秩父三十三所ノ観音ヲ安ス石像ニテ長各二尺余（以下略）」
三十三体の観音像の台座には、寄進者の名と居住地とが刻まれており、それを見ると五十の個人名にまじり、二十一の観音講中や村有志などの名もあります。また、地名では狭間村、初沢、寺田村、館、小引などの他、横山宿、八幡宿、八日市宿、大横町、本郷・八木宿、千人町なども見られ、ほぼ八王子全域に分布していることがわかります。観音像のお顔やお姿は、当然ながら、一体一体違いますが、ノミで刻まれた住職の祈願への思いの強さがひしひしと伝わってきます。
地盤はもともと関東ローム層のためしっかりしていますが、全長三十メートルにおよぶ横穴であり、寺としても土の崩落を防ぐため鉄骨でしつかり支柱し、保存に万全をつくしております。