Die Fremdenführer von Kleve aus der Mitte des 19. Jahrhunderts erwähnen sowohl das Palais als auch den Atelierturm Belvédère. Der Maler hat beides Kunstinteressierten zugänglich gemacht. Die Klever Stadtchronik (1841-1909) berichtet über prominente Gäste (Stadtarchiv Kleve). 1845 war z. B. der preußische König Friedrich Wilhelm IV. – berühmt als der Romantiker auf dem Thron - zu Gast und kaufte aus spontaner Begeisterung ein Gemälde.
Nicht allzu lange hat das Glück der Familie Koekkoek gehalten. Bereits 1867- 20 Jahre nach seiner Errichtung - muss die Witwe des Malerfürsten das Haus verkaufen. Koekkoek, der 1858 einen Schlaganfall erleidet, kann seinem Beruf nicht mehr nachgehen. Der Unterhalt von Haus und Hof wird zur Last. Nach seinem Tod wohnt die Familie noch einige Jahre in dem Haus. Der Künstlernachlass wird noch im Todesjahr des Malers versteigert.
Nur einige der Gebrauchsmöbel der Familie, der Ateliersessel, der Atelierspiegel, sowie einige andere Erinnerungsstücke haben sich von der einstmals üppigen Ausstattung erhalten. Sie befinden sich heute in der Museumssammlung.
Dokumente aus dem Rotterdamer Stadtarchiv (Familienarchiv van Doornik) berichten über die weitere Geschichte des Anwesens: Ende August 1867 steht Elise Therese Koekkoek-Daiwaille in Verhandlungen mit dem Rotterdamer Rentier Johan (van) Doornik wegen des Hausverkaufs. Die Künstlerwitwe fordert 32.000 Holländische Gulden (Florin) für das Anwesen. Erst im Oktober 1868 werden sie sich handelseinig (26.680 Gulden). Der Kurarzt Willem Arntz, der dem Haus Koekkoek gegenüber an der Kavariner Straße wohnt, wirkt als Vermittler.
Johan van Doornik (Amsterdam 1802-1880 Kleve), reich geworden als Kaufmann in Batavia/ Niederländisch Indien seit 1817, will sich im preußischen Steuerparadies Bad Cleve - wie viele seiner Landsleute auch - mit seiner Frau Catharina Jacoba Henriette ten Cate (Zwolle 1802-1892 Kleve) zur Ruhe setzen. Mit ihnen leben im Haus Koekkoek der Hausverwalter und Buchhalter Pieter de Boer und die beiden Bediensteten Wilhelmina Lagerwaard und Hermina van de Poll (Heimatscheine im Stadtarchiv Kleve).
Die Rechnungen der am Haus Koekkoek arbeitenden Handwerker sind im Familienarchiv van Doornik erhalten und geben Rückschlüsse auf den schlechten Zustand des Hauses.
Der neue Hausherr geht mit dem aktuellen Stand der Technik und lässt eine Gasleitung legen. Das Haus bekommt eine Außenbeleuchtung, die heute noch (elektrisch) erhalten ist. An dem schon länger verwaisten Atelier des Malers, genannt die „Kuppel“ werden Arbeiten an der „Minerva“, an Dach, den schmückenden Keramik-Platten, Balkenlagen und Treppe erwähnt. Das Haupthaus und auch das Atelier erhalten aufwändige textile Innenausstattung, viele neue Fenster mit „Hortchen“ (Geländer), Fahnenmaste. Ein Pferdestall mit Wagen u.v.a.m. gehört weiterhin zur Ausstattung des Hauses.
Johan van Doornik stirbt 1880 in seinem Klever Haus. Seine Frau folgt ihm 1893. Nach ihrem Tod verkaufen deren Erben die „hochherrschaftliche Besitzung“ an den Klever Bauunternehmer Franz Kleindorp. Dieser hält das Haus für nur drei Jahre und stellt es 1896 mit einer Anzeige zum Wiederverkauf gegen 65.000 Mark frei.