Le premier château a été construit en 1137 sur un éperon rocheux par Guillaume Amanieu vicomte de Besaume, de Benauges et de Gabardan.
Au début du XIVème siècle, Gaillard de Goth, frère du premier pape français, Clément V, hérite de Duras. Il bénéficie de l’argent pontifical pour transformer son château en une forteresse imprenable. Par mariage avec Arnaud de Durfort, Marquèse de Goth apporte en dot la seigneurie de Duras et c’est ainsi que la famille de Durfort devient Durfort-Duras et qu’elle possèdera le château jusqu’en 1838.
Situé dans une zone territoriale stratégique lors de la guerre de Cent-Ans les Durfort-Duras ont su tirer leur épingle du jeu au gré des alliances et des avantages financiers. La fin de la guerre aurait pu inaugurer un temps de paix, mais durant les Guerres de Religion les Durfort-Duras rejoignent les protestants et s’opposent ainsi au roi de France. Blaise de Montluc, envoyé par le Roi, assiège le château en 1562. La famille éprouvée décide alors de rentrer dans le rang et en contrepartie obtient le titre de comte.
Leur ascension ne s’arrête pas là : les Durfort-Duras deviennent comtes puis marquis et enfin, par faveur de Louis XIV, ducs en 1689 et pair de France en 1755.
Louise Félicité d’Aumont, petite-fille des Durfort-Duras devient la princesse Louise de Monaco en épousant le prince Honoré IV de Monaco en 1777. Ce mariage avec un prince Grimaldi explique le lien qui existe encore à ce jour avec la principauté de Monaco. Son Altesse Sérénissime le Prince Souverain Albert II de Monaco a d’ailleurs visité la demeure de ses ancêtres le 4 juillet 2017 et le château fait partie des sites historiques Grimaldi de Monaco.
Après des siècles de conflits, le château connaît, aux XVIIème et XVIIIème siècles, de profonds bouleversements architecturaux, il devient ainsi une magnifique demeure de plaisance agrémentée de jardins à la française s’étendant jusqu’au bord du Dropt. Cependant la Révolution française n’épargne pas le Château de Duras qui est partiellement pillé et détruit.
Après plusieurs acquisitions privées successives, il est laissé à l’abandon. Usé par le temps, il est finalement racheté par la commune en 1969 lors d’une vente aux enchères. Classé Monument Historique l’année suivante, il fait l’objet depuis 50 ans de campagnes de restaurations constantes. C’est désormais un des fleurons du patrimoine aquitain et un site incontournable du Lot-et-Garonne.
En 2018, un partenariat avec le Mobilier national a été mis en place. Ancien Garde-Meuble de la Couronne, cette institution a été créée en 1604 par Henri IV. Le Mobilier national a pour mission d’assurer l’ameublement des résidences présidentielles et des hautes administrations de l’État, de créer des œuvres d’art contemporain, d’entretenir et restaurer ses collections, de mettre en valeur et faire connaître son patrimoine.
L’ameublement du château a été réalisé en deux étapes et permet de se rendre compte de ce que pouvait être « la vie de Château ». Il a été choisi de mettre en place des meubles du XIXème siècle dans le style troubadour qui reprend le goût de la Renaissance pour rappeler les belles heures des ducs de Durfort-Duras au XVIIème siècle. En 2018 c’est d’abord l’aile de la Duchesse qui a été aménagé, puis ont suivi en 2019 les appartements du Duc. Aujourd’hui le Château de Duras présente une remarquable exposition de 230 objets (billard, fauteuils, tables, tapis, tableaux, sculptures, tapisseries..)
