La storia della chiesa ha inizio nel 1566 , quando nella contrada Fondacarso sorge il primo convento dei Cappuccini, vicino al torrente Longano, in una valle non molto salubre. A causa di questo, i castrensi, affezionati e devoti ai fraticelli di San Francesco; decisero di costruire un convento entro le mura della città. Dopo il terremoto del 1616, che arrecò numerosi danni a quel convento, si scelse infatti il luogo e l’8 settembre del 1625 i frati presero dimora nei nuovi locali. Accanto sorse la chiesa dedicata a Santa Maria delle Grazie, composta da una sola navata, di stile molto semplice. Sull’Altare Maggiore si trovava una tela dipinta ad olio raffigurante la Madonna degli Angeli con San Francesco e Santa Chiara del sec.XVI attribuita al pittore Scipione Pulzone da Gaeta.,oggi esposta nel Museo Civico. Anche questo convento a causa delle leggi eversive del 1866 fu tolto ai frati e consegnato al Comune, che lo adibì ad ospedale. Nel 1933 fu dato alla Congregazione dei Padri Redentoristi, che rimasero fino al 1993. Oggi la chiesa viene aperta al culto solo l’8 settembre di ogni anno per celebrare la Natività di Maria Santissima, festa a cui erano devoti i frati Cappuccini e che è rimasta viva nella tradizione religiosa locale.