Guðjón Brynjólfsson, eða Guðjón snikkari, og eiginkona hans Jakobína Thorarenssen byggðu Steinhúsið árið 1911. Þau höfðu þá rekið verslunina Verzlun Guðjóns Brynjólfssonar á lóð hans í skúr frá árinu 1910. Guðjón sem var bóndasonur ofan úr Kollafirði þótti færast mikið í fang með byggingu Steinhússins og töldu sumir að hann hlyti að setja sig á hausinn með þessari stórbyggingu. Það virtist þó aldrei bera á kröggum þrátt fyrir að hans nyti ekki lengi við eftir byggingu þess en hann lést árið 1914.

Eftir andlát Guðjóns kom það vel í ljós hvað Jakobína var útsjónarsöm og dugleg kona. Það var henni að þakka að aldrei bar á kröggum þrátt fyrir byggingu stórhýsisins. Hún hafði ævinlega leigjendur í Steinhúsinu og seldi því oft fæði líka þó það hafi ekki orðið formlegt gistihús hjá henni. Hún rak áfram verslunina ásamt seinni eiginmanni sínum, Kristni Friðriki Benediktssyni, og fluttu þau verslunina í viðbygginguna eftir byggingu hennar árið 1928. Ýmsir gamlir vörubæklingar, aðallega breskir, fundust upp á lofti við endurbæturnar. Sagt er að Jakobína hafi haft kindur í Skeljavíkinni og notað meðal annars ullina af þeim til vöruskipta við Breta á móti vörum í verslunina.

Húsið seldi Jakobína til Péturs Bergsveinssonar árið 1962 sem gerði á því allmiklar endurbætur og rak þar gistihús til ársins 1971. Einar og Guðmunda Hanssen keyptu þá húsið og héldu áfram rekstrinum til ársins 1976. Þórir Jóhannsson frá Blönduósi keypti húsið af Einari og rak starfsemina í 2 ár. Kaupfélag Steingrímsfjarðar varð að lokum eigandi hússins og leigði það út til ýmissa aðila til gistihúsareksturs. Hótel Matthildur var þar síðast með rekstur í nokkur ár fram til ársins 1999. Eftir það stóð húsið autt og umhirðulaust þar til að systurnar Sigrún og Guðfinna Sævarsdætur keyptu það sumarið 2006 og hófu að gera það upp með dyggri aðstoð foreldra sinna.