姚家大院建于民國八年（1919年），為當地大地主姚氏家院。1945年春，新四軍蘇浙區前線指揮部為了控制莫干山及杭嘉湖敵后區，建立前進基地，組成了前線指揮部，粟裕為司令，挺進孝豐、安吉。粟裕司令員在指揮反頑自衛戰役時，將此大院作為新四軍政治部，粉碎了國民黨第25集團軍近13個師，43個團得瘋狂進攻，取得了三次反頑戰役得輝煌勝利。解放后，大院建筑內的柱梁、板壁上皆刷上石灰以用做糧倉，直至1990年。