Al in de veertiende eeuw stond er een stenen huis op de plek van het huidige gebouw. Deze woning werd gebouwd door Heynric Coppier. Hij was de secretaris van Willem de Zesde, onder meer de graaf van Holland en Zeeland. Coppiers zoon verkocht het pand in 1460, waarna het verschillende keren van eigenaar wisselde.

Eind zestiende eeuw is het originele stenen huis vermoedelijk gesloopt om plaats te maken voor nieuwbouw. Het pand was toen het bezit van Cornelis vander Hooch. Hij voegde voorhuizen toe aan de woning. In 1614 verkocht hij de helft van het huis aan zijn schoonzoon. Hierdoor ontstonden er twee woningen: Riviervismarkt 3 en 4.

Grote verbouwing

Grote gedeeltes van het pand werden in originele staat hersteld. Glashandel De Wolf had namelijk muren weggehaald, de binnenplaats overdekt en een venster in de voorgevel verwijderd vanwege functionele overwegingen. Tijdens de restauratie werden de funderingen van het eerste stenen huis gevonden, net als twee putten waar afval in werd gestort. Uit de putten haalden archeologen onder meer een kookpot, een bord, tegels en een vergiet uit de zeventiende eeuw.De restauratie werd in 1986 afgerond, Vanaf 19 september van dat jaar diende de Riviervismarkt als ontvangstruimte van de directie van de Nutsspaarbank.