四代目水間相模に師事した西田伊三郎によって、明治40（1907）年に建てられた町家建築です。

土間の吹抜けの梁は、木の美しさが際立つように高い技術によって加工され、大黒柱を中心に、束と梁の整然とした構成が目を引きます。高窓からの光線を巧みに取り入れて、屋内の柱や鏡戸の木目を引き立たせています。伝統に基づいており、全体的に簡素な美しさが持ち味です。

日下部家が男性的な建物であるのに対し、吉島家は建物の隅々まで神経の行き届いた繊細さと、女性的な美しさがある建物といわれます。

高山における町家建築では特に優れたものとされ、国の重要文化財に指定されています。また、国府地域にある清峯寺観音堂も西田伊三郎の作です。