Outre son pont, la ville est célèbre pour son Hôpital lui aussi géré par l'Oeuvre. Vers 1310, la confrérie affirme une vocation charitable avec la construction d'un asile qui accueille pélerins et indigents, femmes en couches et enfants abandonnés. L'Hôpital de Saint Esprit (l'un des 4 Hôpitaux Généraux de la chrétienté avec ceux de Ronceveaux, de Notre Dame du Puy et de Saint Antoine en Viennois) est construit en amont de l'entrée du pont et y confronte la Maison du Roy, siège de l'Oeuvre. Il comporte une grande salle où sont logés les malades et un sanctuaire gothique dont le portail, attribué à l'architecte genevois, Blaise Lecuyer, est terminé à la fin du 15 ème siècle.
En raison de leur situation géographique, à la fois frontalière et carrefour, la ville et le pont Saint Esprit, furent des places stratégiques pour les pouvoirs publics et les militaires.
A la suite du découpage de l'empire carolingien, la vallée du Rhône, puis le fleuve lui-même, devinrent une ligne frontalière convoitée, entre le Royaume de France à l'ouest et le Saint Empire Germanique à l'est. C'est ainsi que pendant des siècles, les riverains et les mariniers continuèrent d'appeler Royaume la rive droite et Empire la rive gauche. De plus, le voisinage avec Avignon qui, du 13 ème siècle à 1791, appartint à la papauté, apporta tour à tour à la ville de Pont Saint Esprit richesses et turpitudes. Le Pont Saint Esprit est donc le trait d'union entre plusieurs états et relie les provinces du Languedoc et du Vivarais à la Provence et au Dauphiné. Comme il se trouve être le seul pont de pierre entre Lyon et la mer, il fallut défendre ce point stratégique en le fortifiant. C'est cette image que montrent encore les armoiries de la ville estampillées sur le mobilier urbain contemporain : le pont est fermé de deux demi-tours avec une croix au milieu surmontée du Saint Esprit et de deux fleurs de lys. Au 14 ème siècle, alors que la guerre de Cent Ans fait rage, la ville tente de se protéger de la convoitise des armées ennemies en s'enfermant dans de nouveaux remparts qui englobent la tête du pont et l'Hôpital. Hélas, ces précautions n'effarouchent guère les terribles mercenaires anglais, "amis de Dieu et ennemis à tout le monde" et qui "dégâtaient" villes et campagnes sur leur passage. Pont Saint Esprit leur résiste un temps et les empêche d'entrer en Dauphiné, mais finit par succomber à leur siège. Les pillards pouvaient alors "courir à leur aise et sans danger, une heure en Royaume de France et l'autre en Empire" et allaient "ous les jours jusqu'aux portes d'Avignon, de quoi le Pape et tous les cardinaux étaient en grand paour".

Le déclin du port


