もとは高山城主金森氏の下屋敷の一つでしたが、飛騨が徳川幕府の直轄地となってからは、江戸から来た代官や郡代がここで政治を行いました。この役所は陣屋と呼ばれ、おふれを出すほか、年貢の取り立てなどをする場所でした。郡代役所の主要な建物が残っているのは、全国でもここ高山だけです。

国指定史跡である高山陣屋の御蔵も、高山城取り壊しの際に三ノ丸の米蔵を移築したものです。かつて年貢米を保管した蔵で、天領時代の歴史を物語る資料が展示されています。