Carl Martin Stein (1806-1868), der Vater von Sophie von Heyl, war in Köln Bankier und ein anerkannter Kunstsammler. Als Ausschußmitglied des Kölner Kunstvereins seit dessen Gründung 1839 und Förderer verschiedener Kunstbestrebungen der Stadt sowie als Stifter des Thomas-Altars für das Wallraf-Richartz-Museum spielte er im Kölner Kunstleben stets eine wichtige Rolle. Von Heyl beschreibt ihn noch im hohen Alter voller Bewunderung als "edlen, geistvollen Mann und grossen Kunstfreund und Kunstkenner", als "Autorität auf dem Gebiet der Kunst in der Stadt". Von seiner Sammlung weiß Adrienne von Deichmann zu berichten: "Sie bestand aus prachtvollen Krügen vom zehnten Jahrhundert an, meist Kölner Schule oder Augsburg, prachtvollen Gläsern, deutsche und florentiner, Bilder aus der frühen Kölner Schule, alte Italiener, und Elfenbein- und Handschnitzereien wertvollster Art. Diese Sachen waren verteilt in den Salons, und besonders schön und reizvoll eingerichtet war das Billardzimmer, da die feinen seltenen Gläser und Porzellane in eingebauten Glasvitrinen ringsum an den Wänden aufgestellt waren." Hier wurde das Kunstinteresse der Töchter geweckt und wohl ebenso der Gedanke des Ehepaars von Heyl, eine umfassende Kunstsammlung aufzubauen, die nicht nur Gemälde, sondern auch Skulpturen, Porzellan, Gläser, Krüge bis hin zu kunstgewerblichen Gegenständen der Region beinhaltet.
 
Wurde in Köln das rheinische Kunstgewerbe, so in Worms das Frankenthaler Porzellan schwerpunktmäßig gesammelt. Ein Gesamtbild der Sammlung Stein, die nach dem Tod der Witwe Stein im Jahre 1890 unter den vier Töchtern aufgeteilt wurde, kann man sich aber heute nicht mehr machen, da kein Nachlaßverzeichnis existiert. Nach Swarzenski stammen elf Gemälde der Heylschen Sammlung aus Steinschem Besitz, einige Holzskulpturen, Elfenbeinarbeiten, Miniaturen, Porzellan und Gläser. Bei den Gemälden handelt es sich um die beiden Bilder Alt-Kölner Meister (Kat. Nr. 1, 2), die drei französischen Gemälde von van Loo, Natoire und Diaz de la Pena (Kat. Nr. 69, 70, 75) sowie um deutsche Gemälde des 19. Jahrhunderts, neben Eduard Hildebrandt (Kat. Nr. 81) ausschließlich Maler aus dem Düsseldorfer Umfeld wie Jakob F. Dielmann (Kat. Nr. 83, 84), Jakob Eduard von Steinle (Kat. Nr. 89), Carl Ferdinand Sohn (Kat. Nr. 96), Erich Correns (Kat. Nr. 92), der auch ein Portrait des Sammlers Stein gemalt hat, und Benjamin Vautier (Kat. Nr. 85, 86). Da nach Swarzenski Knaus, Vautier und die beiden Achenbachs im Steinschen Haus in Köln verkehrten, ist anzunehmen, daß diese Künstler der Heylschen Familie persönlich bekannt waren. Von jedem dieser Maler besaßen sie Gemälde.