Cornelius Heyl (1792-1858), der Großvater des Sammlers, begründete den Aufstieg der Familie, indem er ohne fachmännische oder technische Vorkenntnisse beschloß, in großem Umfang Lackleder nach einem neuen Verfahren herzustellen. Die Idee kam ihm auf einer Reise nach London und Paris, als ihm auffiel, daß das Schuhwerk der reichen Leute ihrer Kleidung nicht entsprach. 1834 gründete er seinen Betrieb etwas außerhalb von Worms. Die Fabrik, die der erste große Industriebetrieb der Stadt überhaupt war, erlebte einen stetigen Aufschwung, zog weiterverarbeitende Industrie an, verursachte aber auch so den Aufbau einer rein monoindustriellen Struktur. Cornelius Heyl eroberte mit seiner Lacklederfabrikation den Weltmarkt.

Daniel Cornelius Heyl (1818-1844), der Vater des Sammlers, starb schon mit 26 Jahren. Seine drei Kinder wuchsen zunächst im sogenannten Schlößchen in unmittelbarer Nähe des Doms auf, das die Familie Heyl der Witwe zur Verfügung gestellt hatte. Später lebten sie mit ihrer Mutter in Darmstadt, da sie sich mit dem Bruder des Generaldirektors des Hauses Cornelius Heyl, Major Hahn, wiederverheiratet hatte. Das älteste der drei Kinder, Cornelius (1842-1861), starb bei einem Aufenthalt in London, so daß erst jetzt an Hermann Wilhelm Heyl, den Zweitältesten, zur Wahrung der Familientradition, der Name "Cornelius" weitergegeben wurde.

Cornelius Wilhelm Heyl (1843-1923) übernahm so bereits mit neunzehn Jahren die großväterliche Lederfabrik. Zuvor war er jedoch noch für mehrere Monate auf Reisen in England, Frankreich und Italien. Auf letzterer begleitete ihn ein "Gelehrter", um dort von ihm für mehrere Monate "in die Kunstgeschichte an Ort und Stelle ... eingeführt zu werden". Nach dem Eintritt in den Betrieb bezog er das Schlößchen am Dom, das ihm seine Großmutter überließ. Es blieb auch der Wohnsitz, nachdem er 1867 Sophie Stein (1847-1915), die Tochter eines Kölner Bankiers und Kunstsammlers, heiratete. Erst jetzt setzte seine Sammeltätigkeit ein, so daß man annehmen darf, Sophie Stein gab den Anstoß dafür. Ein ähnliches Sammelinteresse entstand bei seinem jüngeren Bruder Maximilian (1844-1925), der zuerst Offizier war und 1870/71 in den Betrieb eintrat, als er eine Schwester von Sophie Stein, Dorothea (1848-1930), im Jahr 1871 heiratete.

Cornelius Wilhelm Heyl begann sich nun auch politisch zu engagieren. 1874 wurde er als Kandidat der hessischen Fortschrittspartei in den Reichstag gewählt, dem er bis 1881 und dann wieder von 1893-1918 angehörte. 1877 beriet ihn Großherzog Ludwig III. in die I. Kammer der hessischen Stände. Die zunehmende Raumnot im Schlößchen und wohl auch der Wunsch, ein repräsentatives Stadthaus in Worms zu besitzen, führten 1883 zum Bau des Heylshofes. Das Haus wurde aber nicht ganzjährig von der Familie bewohnt, da durch die politische Tätigkeit lange Winteraufenthalte in Berlin und Darmstadt erforderlich waren, worauf im Frühjahr meist der Umzug in den Heylshof nach Worms folgte. Den Sommer verbrachte man auf dem Gut Pfauenmoos in der Schweiz, und im Herbst lebte die Familie auf Schloß Herrnsheim, wo der Hausherr große Jagden, die Hausherrin Gesellschaften mit zahlreichen Gästen veranstalteten.

So wurde der Heylshof meist nur einige Wochen im Jahr von der Familie selbst genutzt. Deshalb diente er auch als Gästehaus für befreundete Politiker, Künstler und Wissenschaftler, die oft über längere Zeit in Worms für die Heylsche Familie tätig waren. Für seine Innenausstattung verwendete man die zusammengetragenen Gemälde, Skulpturen, Gläser, Krüge und Porzellan oder erwarb sie dafür zum Teil gezielt. Gewächshäuser, die vom Boudoir der Hausherrin durch ein Fenster einzusehen waren und vom Speisezimmer aus betreten werden konnten, wurden dem Haus direkt angebaut. Der groß angelegte Garten war für Besucher zu bestimmten Öffnungszeiten zugänglich.

1886 wurden die Brüder in den großherzöglich hessischen Adelsstand und in den Freiherrenstand als "Freiherren von Heyl zu Herrnsheim" erhoben. Vor allem ihre Aktivitäten für die Stadt Worms dürften hierfür ausschlaggebend gewesen sein. So die Einrichtung des Sophienstifts, die Finanzierung eines neuen Rathauses, die finanzielle Unterstützung von römischen Ausgrabungen und wissenschaftlichen Forschungen zur Wormser Stadtgeschichte sowie des Paulusmuseums und anderes mehr.