沙田最早的先民是本地人，他们约于500年前移居至此，在区内开村立业；客家人则在200至300年前开始在沙田聚居。曾大屋约于130年前由一位石匠所建，这位曾姓石匠在西湾河经营石矿场，并在筲箕湾开设三利石厂，发了大财，决定以毕生积蓄兴建一条氏族围村供子孙安居。曾大屋围村采用了这位主人翁于东北五华老家的建筑风格，因此外观与新界其他围村迥然不同。曾大屋是五进式建筑，北面围墙有三个入口，正中是正门，直接通往祠堂。前庭有两口水井，曾几何时是围村的食水来源。大屋瓦顶的飞檐别具特色，雕塑有镇宅僻邪的作用。这条围村通称曾大屋，又名山下围。
香港有好几座不同名称的围城，在九龙的林村刚好有座保存最完整、规模也最大的曾大屋。顾名思义，这座城寨式的村落，居住着同是曾姓的族人。这座围城并不是一座展览式的纪念馆，仍有住名居住其中。 由于客家族群的围城已随时代倾颓或改建，这些象征香港早年的牌匠、雕塑、神像等。目前围城内虽有人住，但户数不多，显得冷冷清清，他们也不排斥观光客的参观。
曾大屋内最特别的是家族祠堂，上头写着［曾氏家族议事厅］。传统的木樑土墙的屋中，墙上挂满了历代先人的遗照，从图像上来看，这个曾姓家还是个望族，戴有官帽、官带的人不少。
围城中也有一口水井，显示客家围城建筑的特色，高大的围墙及了望台为的是御敌，城中的水井则是为了避免用水匮乏，遇敌围攻时用能自给自足。