Les confréries de Pénitents, associations de laïcs réunis dans un but charitable, ont connu un essor important dans le Midi et particulièrement à Avignon qui en comptera jusqu’à sept.
La Confrérie de Pénitents Noirs a été crée en 1586 par Pompeius Catilina, un officier venu de Rome dans le but de former les troupes d’infanterie avignonèses du pape. Catilina avec d’autres citoyens de la ville d’origine italienne, s’étaient engagés dans une œuvre de charité pour les déténus en formant une structure à l’exemple de la « Confrérie des Pénitents Gris » existant sur lieu depuis 1226.
Ils ont choisi comme maison mère la chapelle de l’hôpital de la Notre-Dame du Fenouillet, rue de la Banasterie, tout en proximité du Palais Papal et de la cathédrale Notre-Dame.
Le rôle principal des frères était celui d’apporter un soutien spirituel et matériel aux prisonniers et d’accompagner les condamnés à mort jusqu’à leur moment d’exécution.
Le 8 septembre 1596 le Pape Clément VIII a accordé à cette confrérie le privilège de libérer un condamné à mort le jour de la fête liturgique de la décapitation de saint Jean Baptiste.
Plus tard en 1617 le Pape Paul V leur accorda le privilège de pouvoir demander la grâce pour un autre condamné. Depuis le XVIIIe siècle les Pénitents s’occupaient aussi des malades mentaux.
Après la révolution française, suite à une décision des autorités laïques, la confrérie a été supprimée et la chapelle a été prise en charge par l’administration civile.
La confrérie a renouvelé son activité en 1815 après la chute de Napoléon I et le retour au pouvoir des Bourbons.
En 1905 lorsque l’Etat maçonnique d’Emile Combes a a promulgué les lois anticatholiques en privant l’Eglise de ses influences dans la vie publique et en lui ôtant tout bien matériel, la confrérie à son tour a perdu le droit à la propriété de la chapelle, mais n’a pas été expulsée du lieu lui-même.
La confrérie a cessé de nouveau son activité en 1948.
En 1976 la propriété de la chapelle passe à la ville d’Avignon.
Le 30 octobre 1983 le maire, M. Jean-Pierre Roux, confie le soin de ce monument à l’Association Saint-Jean-Baptiste dont les fondateurs décident de réactiver la confrérie.
Depuis de nombreuses années, la messe de toujours était célébrée pour les avignonnais par M. le chanoine René Devaux (« Père Eloi »). A son départ, le flambeau a été repris par la Fraternité Sacerdotale Saint Pie‑X, depuis son prieuré de Sorgues.