玉海楼位于瑞安古城东北隅，浙江四大著名藏书楼之一。清光绪十四年(1888)，由孙衣言、孙诒让父子所建。孙衣言(1814―1894)，字劭闻，号琴西，清道光三十年(7850)进士，曾任江宁布政使、太仆寺卿，有晚清特立儒之称。孙诒让(1848―1g08)，字仲容，号籀?，同治六年(1867)举人，是我国清代著名朴学大师和教育家，著有《周礼正义》、《墨子间诂》、 《契文举例》、《温州经籍志》等三十多部。章太炎称之“三百年绝等双”，梁启超赞之“殿有清一代，光芒万丈”。
玉海楼含孙诒让故居和百晋?斋，原占地面积约8000平方米，其三面环水，前后两进。西为百晋?斋、丁字廊、颐园，园内种植白莲。孙诒让故居，前后三进，北为后花园。整座建筑集藏书楼、民居和私家园林于一体，具有浓厚的浙南官宦宅第特色。
孙氏父子敬慕南宋学者王应麟，故取其巨著《玉海》作为楼名，以示藏书“如玉之珍贵，若海之浩瀚”。玉海楼台门石额“玉海楼书藏”为礼部侍郎顺德李文田书，石联“玉成桃李，海涌波澜”为郭?若题。玉海楼当时藏书八、九万卷，以多名家批校本、多孙氏父子手批校本、多瓯越乡邦文献而闻名于世，订有《藏书规约》16条，管理严格。但在解放前夕，古籍渐有散失。1956年文物馆成立后，重视文物保护工作。历年来，不断征集流散在外的古籍以及文物、字画，并开辟孙诒让纪念馆、民俗文物陈列室和举办展览。现藏书3万多册，其中珍善本4千册。而今河畔古树苍翠，庭院幽静，吸引着海内外专家、学者和各界人士纷至沓来， 国家领导人郭?若、田家英、许嘉璐等前来视察或惠赠题词。1996年列入全国重点文物保护单位。