Bygningen beskrives som en tidligere mølle, der var beboet af en skrædder ved navn Ysik. Det nuværende hus er fra 1795 og ligger oven på den gamle voldgrav omkring Havn og det i 1728 forsvundne Vognstuestræde. Huset med det grønne træ eller Cafè Gammeltorv som det rettelig hedder, blev etableret i en gammel urtekræmmerbutik på hjørnet af Vestergade og Gammeltorv ved en mindre ombygning i 1902-1903
. Da rykkede gæstgiver M.S. Bjerre ind, som også lejede værelser ud til de torvehandlende. I 1910 overtog Charlotte A. Jensen restauranten og indrettede værtshus samt "Damecafe". Huset med det grønne træ fik sit navn efter forfatteren Kelvin Lindemanns berømte roman af samme navn. I romanen lader forfatteren en storkøb- mands familie residere i ejendommen. De var i Guds, kongens og fædre- landes navn slavehandlere, hovedjægere og tropekolonister af bedste røverromantiske skuffe. Man skal aldrig gå i vejev for en god løgnehistorie, men den lidt mere kedelige virkelighed viser dog, at der i den periode var noget så prosarisk som vaffelbageri i bygningen. Dengang stod der uden for indgangen på Gammeltorv et gammelt træ, som i dag er afløst af et mere beskedent. Cafè Gammeltorv blev flittigt brugt af af torvebønderne fra Valby. Omkring springvandet på Gammeltorv solgte bondekonerne fjerkræ frem til slutningen af 1920erne. Måske var det også Cafè Gammeltorvs toilet, der trak de torvehandlende ind, selv om kvinderne helt op til 50èrne måtte hele vejen gennem restauranten og køkkenet.For dametoilettet lå oppe i baggården. Først efter utallige stridigheder og klager fra myndigheder og naboer blev der bygger toilet til damer. Restaurantens indretning står næsten uændret siden århundredsskiftet. Panelvæggene er nærmest tapetseret med historiske billeder fra København. Menuen står på godt gammeldansk smørrebrød med skummende fadøl og snaps til. Her er vi i det område, som lå inden for den oprindelige vold omkring landsbyen "Havn",før Absalon dukkede op og byggede sin borg. Gammeltorv var byens tingsted og torveplads. Første gang en bebyggelse på hjørnet af torvet og Vestergade dukker frem af historiens tåger, er i en jordskyldsprotekol på Københavns Universitet fra 1377.
