胡雪岩故居建于清同治年间，占地十点八亩，建筑面积五千多平方米，耗白银10万余两。从元宝街古老门厅进入故居，即到红木厅、十三楼。经月洞门到芝园，迎面一座仿照飞来峰叠成的人工假山，山上高耸胡宅的御风楼，四面临空，供休闲赏景。假山内洞壑宽广，冬暖夏凉。假山前有九曲桥、重檐八角亭、石栏平台，旁又有观棋楼，四周雕嵌名人书画。全园林木葱茏,四季花香。胡宅内设33间厅堂房室，有桌、椅、台、凳上千件，全部用上等红酸枝制成，有的简洁明了，线形流畅；有的工艺精巧，绚丽豪华，尽显明清两代家具的传统特色。楠木厅梁柱、窗棂、家具、雕饰俱用楠木，被称为旷世奇楼；和乐堂柱子用南洋杉，栏杆为紫檀木，格窗用花梨木、酸枝木、黄杨木制成。楼上是当年胡雪岩12位姨太太的住处，每间都有雕技绝伦的砖雕门洞，神仙人物、飞禽走兽、花草静物……应有尽有，其高浮雕、半圆雕的手法令人叹为观止。