当山は真言宗豊山派に属する密教寺で、開基は寛永元年（1624年）小田原北条氏の48将の一人「布施弾正」が入道して“深忍”と号し、原野だった当地で提灯測量・タライ測量を行い僅かな高低を見定め最も高い場所に不動明王を安置し小庵を構えたと伝えられております。「現在でも同じ位置に不動明王をおまつりしています。」 通称・振り袖火事と呼ばれる明暦の大火の折り火元となった江戸水道端“吉祥寺”周辺の住民が入植開墾して吉祥寺新田と呼ばれる村ができました。当山もそれに平行して賢乗法印の時代に寺としての形態を整え現在に至っています。安養寺は多摩新四国八十八カ所霊場第一番の札所で春から夏にかけ大勢の巡拝の方で賑わっています。