De Amerikaan Daniel Stein (1832-1891) had samen met zijn broer een textielwinkel in Allegheny (nu een deel van Pittsburgh), Pennsylvania. Daniel was getrouwd met Amelia Keyser (1842-1888) en zij kregen samen Michael, geboren in 1865, Simon (1868-1913?), Bertha (1870-1924), Leo en Gertrude. In 1877 kwam de familie Stein voor het eerst naar Europa. De familie woonde enige tijd in Wenen en toen Daniel Stein in 1878 terug ging naar Amerika ging de rest van de familie naar Parijs. Naar ruim een jaar keerde de familie via Londen terug naar Amerika, waar zij gingen wonen in East Oakland, Californië. Vader Stein werkte in San Francisco. In 1888 overleed moeder Amelia Stein en in 1891 overleed vader Stein plotseling. De familie Stein verhuisde naar San Francisco. Leo en Gertrude trokken in 1892 in bij een welvarende tante in Baltimore.
Michael (roepnaam Mike) werd op 26 maart 1865 geboren te Pittsburgh. Na een studie aan de Johns Hopkins University hielp hij zijn vader bij het leiden van een trammaatschappij in San Francisco. Michael ontmoette en trouwde in San Francisco in 1893 met Sarah Samuels, die geboren was op 26 juli 1870 te San Francisco. Na de dood van zijn vader beheerde Michael een ruim familie-kapitaal en maakte hij carrière bij de trammaatschappij The Market Street Railway Company. In 1903 nam Michael ontslag en besloot hij naar Europa te gaan. Michael, Sarah en hun zoon Allan, geboren in 1895, vestigden zich in de Rue Madame 58 te Parijs. Het huis was vlakbij de woning van Leo en Gertrude in de Rue de Fleurus 27. Zij verzamelden vanaf 1905 werken van Matisse.
Op zaterdagavond hielden de Steins vanaf negen uur 's avonds open huis. Onder de bezoekers waren Matisse en de Russische verzamelaar Sergej Stschukin. Sarah kreeg van Matisse raadgevingen voor het schilderen. Tussen 1905 en 1908 verzamelden Michael en Sarah de meeste werken. Na de aardbeving die San Francisco trof in 1906 gingen Michael en Sarah enkele maanden naar San Francisco. Op deze reis namen zij drie schilderijen van Matisse mee, waarmee zij ervoor zorgden dat Matisse voor het eerst in Amerika was te zien. Matisse werd verder bekend doordat Michael twee werken van Matisse uitleende aan de Armory Show in 1913. In 1908 hielp Sarah mee bij het oprichten van de Académie Matisse.
Op een party in San Francisco ontmoetten zij Alice B. Toklas. Door de enthousiaste verhalen besloot zij samen met haar vriendin Harriet Levy naar Parijs te gaan. In september 1907 arriveerde Alice Toklas (1877-1967), die uit hetzelfde gegoede Joodsmilieu kwam als de Steins. Op 28 september werd Alice uitgenodigd bij Gertrude en Leo Stein. Ook Picasso en Fernande Olivier waren die avond uitgenodigd. In 1910 trok Alice B. Toklas in bij Leo en Gertrude Stein.
Op het moment dat de Eerste Wereldoorlog in augustus 1914 uitbrak hadden de Steins negentien schilderijen uitgeleend aan galerie Gurlitt in Berlijn. De Verenigde Staten confisqueerde de werken in 1917.
In 1926 lieten Michael en Sarah door Le Corbusier de villa Les Terrasses, ook bekend als Villa Stein-de Monzie, in de Parijse voorstad Garches (nu bij Vaucresson) ontwerpen. In 1935 keerden Michael en Sarah terug naar Palo Alto in Noord-Californië, waar zij de rest van hun leven doorbrachten. Na de dood van Michael in 1938 bleef Sarah corresponderen met Matisse en kocht zij nog door Matisse geïllustreerde boeken. In 1951 overleed Allan en Sarah overleed in 1953. In het San Francisco Museum of Art werd in 1955 de Sarah en Michael Stein Memorial Collectie ondergebracht.
In december 1902 ging Leo van Londen naar Parijs met de bedoeling daarna terug te keren naar Amerika. Door zijn gesprekken met Pablo Casals besloot Leo kunstenaar te worden en ging hij studeren aan de Académie Julian. Leo vestigde zich begin 1903 in een appartement aan de Rue de Fleurus 27 (zie plattegrond bij Michael en Sarah Stein), waar ook Gertrude introk met de afspraak dat zij ieder jaar enige tijd naar Amerika zou gaan. In het voorjaar van 1904 ging zij voor het eerst, om pas in 1935 voor de tweede keer te gaan.
De Steins vormden het middelpunt van een grote groep Amerikanen, schilders en dichters, die vooral op zaterdagavond langs kwamen.
In 1913 kwam er een breuk tussen Gertrude en haar broer Leo door de relatie van Gertrude met Alice B. Toklas, die als secretaresse voor Gertrude werkte. Het gevolg was dat de kunstverzameling verdeeld werd. In april 1914 verliet Leo Stein Parijs en vestigde hij zich in Settignano een plaats in de buurt van Florence. Gertrude overleed op 27 juli 1946 in Parijs en Leo overleed op 29 juli 1947.
Zie voor een overzicht van de aangekochte werken de webpagina's:
Kubistische werken van Juan Gris.
Kubistische werken van Pablo Picasso.
In 1970 werd in The Museum of Modern Art te New York de tentoonstelling Four Americans in Paris: The Collections of Gertrude Stein and Her Family gehouden met een overzicht van de werken die de familie Stein in bezit had gehad. In 1971 werd de tentoonstelling in een aangepaste vorm ook gehouden in The Baltimore Museum of Art en het San Francisco Museum of Art.