「鐘楼門」を入ると、本堂が県文化の黄檗宗越智山「光雲寺（こううんじ）」です。１３４６年（興国７年）越智邦澄が菩提寺として創建され、元「興雲寺」と称し、１４４６年（文安３年）復興して、雪江門下四哲の１人景川宗隆が開山で、その法幢は門下の悦堂宗懌らによって後世に伝承され、大和方面へ禅宗が進出する拠点でしたが、南都諸寺の旧勢力に阻まれて、ほとんどその教線を伸ばすこと無く、越智氏の没落後は一時寺運も衰えたけど、１６８０年代（天和年中）中興開山鉄牛が来住され、越智氏の石碑八基を改葬して復興に努め、１６９８年（元禄１１年）天湫（てんしゅう）による再興以後「光雲寺」と称しています。
「大和志」に「興雲寺」の名が見えますが、それによると、「在越智村有越智加賀守墓碑傍書伝応安三年七月五日山後有古冢六」と書かれているが、応安三年（１３７０年）の墓碑は不明で、同時代の水輪が残存するだけで、「本堂」に向い左側の石段を上がると、吉野朝忠臣「越智邦永、邦澄」の五輪塔があります。他に「椿寂寿長大禅定門元亀二年辛末九月廿四日」の銘文がある「越智家高」の墓碑も側にあり、元亀二年は室町時代の末期で、１５７１年８月４日松永久秀が筒井方の辰市城（奈良市西九条町）を攻めて大敗しています。また、お墓の所から本堂の方へ下りないで、そのまま上へ登ると「斉明天皇陵」へ抜けられます。
高取町車木（くるまぎ）の山の上にあるのが「皇極（重祚して斉明）天皇陵」越智崗上陵（おちおかノへノみささぎ）に治定される御陵です。女帝の第３５代皇極（こうぎょく）天皇は、父が茅渟王（ちぬノおおきみ）で、母が吉備姫王（きびつひめノおおきみ）。初め、高向王（たかむこノおおきみ）に嫁して漢皇子（あやノみこ）を生んだ後、舒明天皇に嫁して二男一女（天智天皇、間人皇女、天武天皇）を生んで、舒明天皇の崩御で皇極天皇に即位され、その後、同母弟の軽皇子（かるノみこ、孝徳天皇）に皇位を譲り、孝徳天皇が崩御（ほうぎょ）の後、重祚（ちょうそ）して斉明天皇になり、西征中、朝倉宮（福岡県）で崩御。
なお、斉明（皇極が重祚）天皇陵には、孝徳（こうとく）天皇の皇后・間人皇女（はしひとノひめみこ、斉明天皇の娘）と天智天皇皇子建王（たけるノみこ、斉明天皇の孫）も合葬されています。また、斉明天皇陵から「光雲寺」の方へ戻らず南へ下りると、途中に「天武天皇妃大田皇女（おおたノひめみこ）越智崗上墓」があります。大田皇女は、父が第３８代天智天皇で、母が蘇我山田石川麻呂大臣（そがノやまだノいしかわノまろノおおきみ）の女（むすめ）遠智娘（おちノいらつめ）です。皇女は、持統天皇の姉で、大海人皇子（おおあまノみこ、後の天武天皇）に嫁し、大伯皇女（おおくノひめみこ）と大津皇子を生みました。