Tijdens een autotochtje rond Avignon ontdekte de Engelsman Douglas Cooper, die in gezelschap was van John Richardson en van Dasil Amulree, in de zomer van 1949 het te koop staande Château de Castille. Na wat financiële aandrang op het bij het château wonende mevrouw Grousset mochten de bezoekers het overwoekerde terrein betreden en le palais des mille colonnes bezichtigen.
Het oorspronkelijke voorouderlijk uit de vijftiende of zestiende eeuwse versterkte bastide was kort voor de Franse Revolutie door de eigenaar Gabriel-Joseph Froment, Baron de Castille, voorzien van een pilaren galerij ter ere van zijn huwelijk met de Prinses de Rohan. Rond 1930 waren de nazaten van de baron in financiële problemen gekomen en de bank had de landerijen, bijbehorende waterputten en een boerderijtje verkocht aan de familie Grousset. Een plaatselijke handelaar had de verwaarloosde rest gekocht met de bedoeling alles te renoveren. Hij was voor de Tweede Wereldoorlog uitsluitend erin geslaagd om het dak van het château te repareren. Tijdens de oorlog hadden Poolse vluchtelingen in het château gewoond. Enkele jaren na de oorlog was het château voor ongeveer $ 12.000 te koop gezet en mevrouw Grousset als concierge gevraagd. Door het ontbreken van een wateraansluiting en het droog staan van de enige waterput was het nog niet gelukt om het château te verkopen.
Terwijl Douglas Cooper met plaatselijke advocaten overlegde in verband met het eventueel overbrengen van zijn kunstcollectie en het regelen van de financiën verbleven de drie vrienden bij Lauretta Hugo-Nicolson, een vriendin van John Richardson en die ongeveer 45 km westerlijk in Lunel met haar man, een achterkleinkind van Victor Hugo, woonde. Jean Hugo bezat Mas de Fourques, waar de dessertwijn Muscat de Lunel werd gemaakt. Dankzij Jean Hugo had Cooper toegang tot invloedrijke plaatselijke personen zoals de senator Suzanne Crémieux, die getrouwd was met Robert Servan-Schreiber, de eigenaar van de kranten L'Express en Les Echos.
Enkele maanden later konden de papieren getekend worden en op zoek gaan naar water. Daar de plaats in de buurt Argilliers, genoemd naar argille (=klei) wegens de aanwezigheid van een niet water doorlatende kleilaag, lag zou het vinden van water nog een groot probleem worden. Pas op zesennegentig meter was men door de kleilaag en had men ruim voldoende water gevonden. Met de verkoop van enkele kunstwerken en het gebruik van goedkope materialen werd het château opgeknapt.
In de winter van 1950-1951 werd in Londen via de Franse consul geregeld dat de kunstcollectie van Cooper, die ongeveer $ 10 miljoen waard was, op basis van import temporaire zonder invoerrechten in Frankrijk zou worden toegelaten. Cooper had daardoor vijftig jaar de gelegenheid zijn bezit in en uit te voeren en eventueel te verhandelen. Vijfentwintig jaar later zou de regeling worden afgeschaft en moest Cooper zich tot President Pompidou wendde voor een gunstige regeling. Pas na Coopers dood zou de Franse staat het nevenstaande schilderij Naakten in het bos van Picasso uit 1907 krijgen. (Nu in het Musée Picasso te Parijs)
Het gerestaureerde château werd door vele kunstenaars, kunstverzamelaars, kunsthandelaren en schrijvers al of niet over kunst druk bezocht in de jaren 1952-1974. De eerste gast was Fernand Léger. Tot 1960 woonden Douglas Cooper en John Richardson samen in het Château des Cubistes. Naar aanleiding van een geslaagde fries op de gevel van het College van Catalaanse architekten in Barcelona volgens de methode Betograve werd de muur van de loggia door de Noorse architect Leif Johannessen op dezelfde manier versierd met vijf tekeningen. De methode Betograve, waarbij grijze en zwarte kiezelsteentjes werden ingelegd en gezandstraald, werd in de beginjaren vijftig van de twintigste eeuw ontwikkeld door de Noorse architect Erling Viksjö. Op 25 november 1962 werden de tekeningen door Cooper en Picasso tijdens een gezamenlijke lunch uitgezocht. In april 1963 was het aanbrengen klaar, maar pas op 25 augustus 1963 werd met een feest, waar Picasso en Jacqueline Roque als eregasten aanwezig waren, de muurtekeningen onthuld. Cooper kreeg bij die gelegenheid de vijf originele tekeningen voorzien Picasso's persoonlijke opdracht Pour mon ami Douglas Cooper Picasso le 25.8.63.
Na een diefstal van 27 kunstwerken uit het Château in 1974 verhuisde Cooper in 1977 naar Monte Carlo en kwam er een eind aan het Château des Cubistes. Het château werd verkocht aan een Grieks paar uit Marseille, die het interieur een oosterse sfeer gaven.
Zie voor foto's van de collectie de webpagina Kubistische werken in 'Le Château des Cubistes'.