Das Schloss Oberhausen geht wahrscheinlich auf den Rittersitz Overhus (auch Overhuysen, Averhus) aus dem späten 12. oder frühen 13. Jahrhundert zurück. Im Jahre 1443 fiel die Wasserburg, die eine Furt an der Emscher kontrollierte, an die in klevischem Lehensverbund stehende Familie von der Hoven. 1615 gelangte das Overhus dann in den Besitz Conrads von Boenen. Wegen ihrer Lage an dem wichtigen Emscherübergang wurde die Burg häufig geplündert und besetzt, so auch im Achtzigjährigen Krieg.
Der Burgherr Friedrich Adolf Freiherr von Boenen zu Berge und Oberhaus heiratete 1770 die Erbtochter Wilhelmine Franziska von Westerholt-Gysenberg und nahm 1779, vom Kaiser in den Reichsgrafenstand erhoben, Namen und Wappen ihres Geschlechts an. Doch die Westerholt-Gysenbergs residierten fortan im Schloss Berge und ließen die Burg Oberhausen verfallen.
1801 wies Friedrich Adolf seinem Sohn, Maximilian Friedrich Graf von Westerholt-Gysenberg, und dessen Gemahlin, Friederike Karoline von Bretzenheim, eine illegitime Tochter des bayerisch-pfälzischen Kurfürsten Karl Theodor, die Burg als zu pachtendes Landgut und Familiensitz zu.
Maximilian Friedrich, der 1806 als Oberstallmeister in die Dienste von Joachim Murat, dem Großherzog von Berg und ab 1808 König von Neapel, eingetreten war, flossen aus diesem Hofamt und ab 1809 auch aus dem Vermögen seiner Frau erhebliche Geldmittel zu. Ab 1803 ließ er sich vom Architekten August Reinking Pläne für den Um- und Ausbau eines ca. 200 Meter nordwestlich der Burg bestehenden Wirtshauses (Posthalterei) zu einem klassizistischen Herrenhaus vorlegen, nach den das Schloss als gräflicher Wohnsitz zwischen 1804 und 1820/1821 erbaut und ausgestaltet wurde. Ab 1808 konzipierte der Gartenarchitekt und Düsseldorfer Hofgärtner Maximilian Friedrich Weyhe die Gartenanlagen des Herrenhauses.
Vierzig Jahre später verlegte die Familie den Wohnsitz nach Schloss Arenfels bei Bad Hönningen; das Schloss Oberhausen wurde nach 1858 nicht mehr von Mitgliedern der gräflichen Familie bewohnt. 1884 stellte man auch den landwirtschaftlichen Gutsbetrieb ein und ab 1891 wurden die Schlossgebäude vermietet. 1896 kaufte die Stadt Oberhausen den Schlosspark und gestaltete ihn im Sinne eines Volksparks um. Das Schloss selbst wurde 1908 Eigentum der Emschergenossenschaft, die es bereits 1911 an die Stadt verkaufte.
Im Zweiten Weltkrieg wurden Teile des Haupthauses sowie das Dach des Kleinen Schlosses zerstört. 1947 eröffnete die Städtische Galerie unter der Leitung von Dr. Herbert Griebitzsch mit einer Sammlung u.a. von impressionistischen Landschaften von Max Liebermann, Max Slevogt und Lovis Corinth. Einen Schwerpunkt bildete auch die Sammlung internationaler Grafik des 19. und 20. Jahrhunderts mit Drucken von Pablo Picasso, Odilon Redon, Maurice Denis und weiteren.
Die Wirtschaftsgebäude, heute „Kleines Schloss“ wurden bis 1952 wieder vollständig aufgebaut. Wegen Baufälligkeit musste das Haupthaus jedoch 1953 geschlossen werden. 1958 ist es weitgehend abgetragen worden. Aus Mitteln der Gutehoffnungshütte wurde es bis 1960 historisierend wieder aufgebaut, die Innenräume im Stil der 50er-Jahre.
Durch Schenkungen kamen zu Beginn der 1960er-Jahre die Sammlungen Glas des 20. Jahrhunderts sowie Europäische Kunst vom Mittelalter bis zur Neuzeit und "Kunst fremder Völker" des Kölner Privatsammlers Kasimir Hagen in den Bestand des Museums.
Ende der 1960er-Jahre wurden vom neuen Leiter Professor Thomas Grochowiak erstmals Bilder von der expressionistischen Künstlergruppe Die Brücke und deren Umfeld sowie Werke von Vertretern der Neuen Sachlichkeit wie Otto Dix und des Kritischen Realismus wie Käthe Kollwitz aufgenommen. Unter Bernhard Mensch, dem Nachfolger Grochowiaks, kam 1988 mit der Schenkung Rolf Jäger ein Konvolut mit Druckgrafik des deutschen Expressionismus hinzu, dessen Schwerpunkt die Grafik Otto Pankoks bildet.
Das Sammlerehepaar Peter und Irene Ludwig begründete 1983 das Ludwig-Institut für Kunst der DDR in Oberhausen, hier wurden erstmals im Westen Positionen Ostdeutscher Kunst ausgestellt und bearbeitet. Mit dem Fall der Mauer entfiel diese Notwendigkeit, das Institut wurde 1991 aufgelöst.
Bei der Suche nach einer Neukonzeption gaben wiederum Peter und Irene Ludwig den Anstoß. Unter der Federführung von Bernhard Mensch und Professor Peter Pachnicke erhielt das Haus Mitte der 1990er Jahre - nun unter dem Namen LUDWIGGALERIE - sein neues Profil. Mit dem Anbau der "Vitrine", eines großen gläsernen Eingangsbereichs des Architekturbüros Eller + Eller, wurde der neuen Ausrichtung als "Bühne für die Kunst der Sammlung Ludwig" 1998 auch baulich Rechnung getragen.

LUDWIGGALERIE mit Gasometer im Hintergrund
Abendansicht der LUDWIGGALERIE
Blick auf das Kleine Schloss durch die "Vitrine" des Haupthauses
LUDWIGGALERIE mit Gasometer im Hintergrund
Abendansicht der LUDWIGGALERIE
Blick auf das Kleine Schloss durch die "Vitrine" des Haupthauses