A telket id. Csomay Kálmán építőmester vette. Ifj. Csomay Kálmán építészmérnök tervezett rá házat a család számára 1938-ban, mely 1940-41-ben épült fel. Abban az időben az Angolkisasszonyok nyaralóján kívül ez a ház volt a hegyoldalban.
A házat még az államosítások előtt, 1949-ben eladta a Csomay család. Müller Ferenc dísznövénykertész vásárolta romos állapotban, háborús sérülésekkel és két lakóval. A lakhatóvá tétel rövid időn belül megtörtént, a tetőszerkezetet ért sérülések javításával. A toronyban fészkelő baglyok miatt ekkor már Bagolyvárként volt ismert az épület. A kert rendezését, főként az örökzöldek telepítését a Müller Ferenc kertész, kertépítő végezte. A növényanyag szakszerű válogatása és elhelyezése, a növények növekedésével az épület és kert varázslatos. egységét eredményezte.
A kert egyik ékessége az 1971-es telepítés során ültetett örökzöld magnólia, melyet a jaltai botanikus kertből hozott a Müller házaspár.
Az épület jelenleg a Kállay család tulajdonában van.