Segundo a tradición, o convento foi fundado por Francisco de Asís, que parou en Pontevedra mentres facía a ruta Portuguesa do camiño de Santiago. A chegada da orde franciscana á cidade tivo lugar posiblemente no último terzo do século XIII, sendo a edificación construída entre 1310 e 1360, contando coa axuda económica dos herdeiros dePai Gómez Chariño nun solar da casa de Soutomaior, naquela época aínda fóra do perímetro da muralla da cidade. 

A igrexa é de estilo gótico tardío ou oxival, e foi declarada monumento histórico-artístico en 1896. Ten planta de cruz latina, con nave única, cruceiro, cuberta de madeira e cabeceira con tres ábsidas poligonais, cubertas con bóvedas de crucería.

O edificio que ocupa a Delegación de Facenda foi construído en 1800, e inclúe a porta de Santo Domingo da antiga muralla da cidade, do século XIII.

No seu interior están os sartegos de Pai Gómez Chariño, Xoán Feijoo de Soutomaior, e Paio de Montenegro.

Logo da desamortización de Mendizábal o recinto quedou deshabitado, sendo propiedade do concello. O 15 de xaneiro de 1909, o pai Luis María Fernández Espinosa e 5 relixiosos máis volveron habitar o recinto, cun contrato de aluguer de 25 anos, a 250 pesetas por ano. En 1930 o templo foi cedido por Real Orde.

Nunha noite de verán de 1995 o templo sufriu un incendio, sendo restaurado pouco tempo despois.

Neste convento está o comedor de San Francisco, que de luns a sábado dá de comer a un bo número de necesitados