生糸貿易商社シーベルヘグナー商会の横浜支配人として活躍した、スイス生まれのフリッツ・エリスマン氏の邸宅として、大正14年（1925年）から15年（1926年）にかけて山手町127番地に建築。設計は、「近代建築の父」といわれるチェコ出身の建築家アントニン・レーモンド。昭和57年（1982年）マンション建築のため解体。平成2年（1990年）元町公園内の現在地（旧山手居留地81番地）に再現された。現在、2階では写真や図面で山手の洋館に関する資料を展示し、地下ホールは貸し出しスペース、昔の厨房部分は喫茶コーナーとなっている。