結城豊太郎（元蔵相・日本銀行総裁）が私財を投じて別邸とこの門を移築し、万巻の蔵書等と共に郷里の赤湯町（当時）に寄贈。昭和10年（1936年）に町立図書館「臨雲文庫」として開庫。本門は長屋門であり、元々は薩摩藩御隠居屋敷表門と推定。