寺伝によれば、善養寺の開基は、山城醍醐山の住僧･頼澄法印が、霊夢のお告げをかしこんで一山の霊宝の不動明王像を奉持して当地に下向し、大永七年（1527）に一宇を建立したことに始まるとされます。ただし、史実としては永正六年（1509）の連歌師宗長の紀行文『東路のつと』に、宗長が善養寺に立ち寄ったことが記されています。江戸時代には徳川第三代家光公より十石の朱印領を賜り、末寺を統領する中本寺として法燈を継いで今日に至ります。現在は真言宗豊山派に属し、奈良県初瀬の長谷寺を総本山、東京都音羽の護国寺を大本山に仰ぎます。