Het kunstmuseum te Bazel heeft al een zeer lange voorgeschiedenis. Basilius Amerbach (1533-1591) had een uitzonderlijke collectie van kunstwerken, ethnografische zaken en boeken. Dit z.g. Amerbach Kabinett zou in 1661 misschien naar Amsterdam verhuizen, maar professoren van de Universiteit van Bazel kregen het voor elkaar dat de collectie gekocht werd. Tweederde betaalde de stad en éénderde de universiteit, die ook het beheer kreeg. In 1671 werd de kunstcollectie opengesteld voor het publiek. De omvang groeide door giften en aankopen. In 1833 werd na de opsplitsing van Bazel in twee kantons, Basel-Stadt en Basel-land de stad eigenaar van de kunstcollectie. Dankzij een schenking uit de erfenis van Samuel Birrmann (1793-1843) werd in 1855 een fonds opgericht voor het aankopen van eigentijdse Zwitserse kunst.
Sinds 1936 bevindt het museum zich in een door de architecten Rudolf Christ en Paul Bonatz ontworpen gebouw in St. Alban-Graben 16 te Bazel. Het museum is gelegen aan de rand van de oude stadskern op nog geen kwartier lopen van het station Bahnhof SBB. De Öffentliche Kunstsammlung Basel werd het Kunstmuseum Basel. In de twintiger jaren van de vorige eeuw werd door Otto Fischer gestart met de aankoop van internationale werken. In 1933 kwam het museum via het inbruikleen krijgen van werken uit de Emanuel Hoffman-Stiftung in het bezit van een aantal kubistische werken. Georg Schmidt, directeur van 1939 tot 1961, vergrootte in 1939 de collectie door het aankopen van Entartete Kunst uit de Duitse musea, die onder invloed van de Nazi's was verwijderd. Daarnaast waren belangrijke giften, bv. de kubistische verzameling van Raoul La Roche en de verzameling van de Obersteg Foundation in 2004. Door de aankoop van het naast het museum gelegen gebouw, waar de Swiss National Bank in gevestigd was geweest, met een gift van Maja Oeri in 1999 kon de bibliotheek en de administratie verhuizen. De vrijgekomen ruimte vergrootte de expositieruimte.
Het kubistisch bezit van het museum kwam vooral door de schenkingen van Raoul La Roche. In 1952 schonk hij acht schilderijen van Georges Braque, vier van Juan Gris, drie van Fernand Léger en drie van Pablo Picasso. Ook in 1956 en 1962 kreeg het museum van hem kubistische werken. In totaal schonk Raoul La Roche zesentachtig werken.
In 1968 schonk Picasso vier werken aan het museum als dank voor de inspanning van het aankopen van twee werken. In de herfst wilde de eigenaar van Zittende Harlekijn en Twee broers, die in het museum werden tentoongesteld, de doeken verkopen. De curator Franz Meyer slaagde erin om het recht tot de eerste koop voor de stad te verwerven voor een prijs van 8,4 miljoen Zwitserse Francs. De stad zou 6 miljoen moeten bijdragen en de rest het museum. Tegenstanders vroegen om een referendum, maar de bevolking stemde op 22 december 1967 met 55% voor de aankoop. Via acties werd geld ingezameld voor het museum. Picasso kreeg dit te horen en nodigde Meyer uit in Mougins. In Mougins mocht Meyer vier werken uitzoeken. Voor het geld kreeg het museum dus zes schilderijen.
In augustus 2006 was een aantal te zien in de eerste vier zalen op de tweede verdieping van het museum, waar de kunstwerken van de twintigste eeuw zich bevinden.
Het toegangskaartje was tevens geldig voor het Museum für Gegenwartskunst (=museum voor hedendaagse kunst), dat sinds 1980 op korte afstand van het Kunstmuseum Basel gevestigd is in een oud industriepand aan de St. Alban-Rheinweg. Deze uitbreiding was mogelijk dankzij schenkingen van Maja Sacher-Stehlin, de Emanuel Hoffmann-Stiftung en de Christoph Merian-Stiftung.