祁家村位于丘陵地帶。沿著溪坑公路，有座拱形小橋，小溪流水潺潺，旁依一條彎彎小路。祁家宅院建筑坐北朝南，據(jù)史料記載，此宅總占地面積1990平方米。大院前，立著一間炮樓，正面有兩個(gè)一圓一方的炮洞，炮樓用淺紅色的條石鑿砌而成，堅(jiān)不可摧的樣子。整個(gè)建筑前后兩進(jìn)，內(nèi)有天井、回廊、串樓、廂房、--、花園。

整個(gè)建筑前后兩進(jìn)，內(nèi)有天井、回廊、串樓、廂房、--、花園。青瓦粉墻的小樓彼此相連，飛檐翹角的正門高聳在正中。站在正門前仰頭細(xì)觀，額題已模糊不清，東、西門的題額分別為“樓枕嶼山”和“門迎湫水”的兩幅字。正門對(duì)面的圍墻上鑲嵌著一塊天然奇石“星月石”，暗紅色的蛇蟠石中間一塊渾圓的白圈，仿若滿天寒星簇?fù)碇惠嗮嵉脑铝?，?cè)邊長(zhǎng)長(zhǎng)一道是遙遠(yuǎn)的銀河，寓意“如月中天”。

主樓為傳統(tǒng)木結(jié)構(gòu)四合院，硬山頂穿斗式磚木結(jié)構(gòu)，二層七開(kāi)間帶一弄，明間梁架五柱七檁，中柱落地帶前后雙步和前后廊，次間同明間。庭院開(kāi)闊，平鋪石板，左角有一水井。左右為兩層廂房，硬山頂梁架穿斗結(jié)構(gòu)。其后則是狹長(zhǎng)的大跨院，稱后院，也稱小姐樓，名曰“順雨樓”。向左、右各行十幾步，可以穿過(guò)小門，進(jìn)入主樓兩邊的廂房。廂房有九個(gè)明堂，九個(gè)跨院，門上方亦各有扇形字刻，一字一句，散發(fā)著濃郁的耕讀傳家文化思想，承載著悠悠的古趣詩(shī)韻。廂房前也有狹長(zhǎng)的大跨院，供長(zhǎng)工、傭人居住。在后院的兩側(cè)各建有耳房，用墻與小姐樓隔開(kāi)。最后面是花園，依稀可見(jiàn)往日花木錦簇、盆景迥異的情形。

整個(gè)建筑群落布局嚴(yán)謹(jǐn)，圍墻高聳，氣勢(shì)恢宏，顯得穩(wěn)實(shí)牢固，封閉性極強(qiáng)，是一個(gè)安全、寧?kù)o、舒適的居住處所。建筑四周筑有高高圍墻和影壁，東南角建有炮樓，呈方形，攢尖式頂，高近十米，四周建有瞭望孔和射擊孔，如警惕的眼睛，炯炯有神。建筑的整體設(shè)計(jì)，可感受到明顯的防衛(wèi)意識(shí)，這不但證明了它是一座自衛(wèi)式的民宅，從一個(gè)側(cè)面反映出清晚期至民國(guó)初年社會(huì)處于動(dòng)蕩的狀態(tài)。

土改時(shí)，祁文豹故居被分給祁家后人及當(dāng)?shù)匕傩站幼?。不久，?dāng)時(shí)的葛岙鄉(xiāng)人民政府把主樓作為政府辦公場(chǎng)所；現(xiàn)在它成了海游鎮(zhèn)葛岙片的辦公用房。

祁文豹故居建筑，薈萃了浙東古代民間建筑的基本風(fēng)格，展現(xiàn)了浙東晚清古建筑中的特色。整個(gè)建筑既有遍及南方民宅中的馬頭墻，又有建在前后瓦檐上的騎瓦風(fēng)火墻；既有一進(jìn)兩廂的結(jié)構(gòu)，又有庭園式、院墻式等風(fēng)格迥異的居屋。建筑構(gòu)件中的枋檁雀替，藻井花窗，雕刻有寓意吉祥如意的鰲魚、蝙蝠、麒麟、奔鹿、走獸，以及栩栩如生的人物造型，宅院中的雕花石磉子、雕花窗、彩繪、升斗等再現(xiàn)了當(dāng)時(shí)高超的技藝。宅院內(nèi)融灰雕、石雕、木雕藝術(shù)于一體，表現(xiàn)了當(dāng)時(shí)藝人非凡的繪畫、雕刻技藝。