Insieme alla chiesa veniva donato ai Frati Minori Osservanti anche il prato antistante con i posti per la fiera, che si teneva tre volte l’anno e dall’affitto del quale i frati traevano una rendita. Il convento è un edificio a due piani con chiostro, situato presso il fiume Tenna, lungo la strada che da Fermo conduce ad Amandola. La sua costruzione venne completata nella prima metà del secolo XVII. Nel 1650 fu completato il refettorio. In seguito venne costruito un pozzo, il corridoio a nord del convento, una nuova rampa di scale e le mura intorno agli orti. Nel 1747 venne, contemporaneamente al rifacimento della chiesa, costruito il nuovo dormitorio. Dopo la frana che colpì Servigliano Vecchio, il prato venne richiesto ai frati per la costruzione del nuovo centro, insieme all’uso di parte dell’edificio conventuale per la sala di riunioni, uffici di segreteria ed archivio. Come risarcimento venne pagato alla comunità religiosa un indennizzo di quindici scudi annui. Il convento venne usato nei primi anni di vita di Castel Clementino per ospitare gli uffici municipali, fino al 1789, e la scuola. In epoca napoleonica il convento venne soppresso, i frati furono costretti ad abbandonarlo il 10 maggio 1810. Venne quindi acquistato da privati. Nel Catasto Gregoriano del 1811 è indicato (part.3732) come Convento dei soppressi Padri Minori Osservanti di proprietà demaniale. Nel 1816 con la restaurazione fu restituito all’Ordine dei Minori Osservanti. Vennero effettuati alcuni lavori di restauro in seguito ai danneggiamenti subiti dall’edificio nel periodo della soppressione napoleonica. La comunità religiosa venne nuovamente soppressa dopo l’Unità d’Italia nel 1861. Nel 1866 i religiosi lasciarono il convento, e la comunità fu definitivamente sciolta. L’edificio rimase vuoto per alcuni anni e nel 1868 venne richiesto dal Comune di Servigliano per utilizzarlo per usi pubblici. Dal 1883 venne adibito a scuola pubblica ed asilo d’infanzia, in seguito ad ospedale e a caserma dei Carabinieri.
