常家庄园占地12余万平方米，是规模最大的晋商大院，也是中国最大的庄园式建筑群。布局严谨，整齐有序，功能性很强。由堡门、堡墙、街道、宅院建筑群、园林、商铺以及街心牌楼、堡池、池桥等组成。街道北侧是庄园的宅院建筑区，临街一字排开。宅院区之北是园林区，包括静园及遐园、狮园两个园中园。街道南侧沿街开有各种商铺，是族人生活消费的供应设施，也是庄园的南封闭线。常家庄园以“后街”为纽带，各个宅院彼此紧靠，“临街门户依次开，堡门关闭如一堂”。
1488年—1505年(明朝弘治年间)，常家庄园始建于明朝末年。常氏繁衍到第五六代时，正值明末清初，晋中商人崛起。清康熙年间开始，随着人口的不断增多，常氏各户又陆续修建了一些房屋。
1681年(康熙二十年)左右，八世常威北上张家口，经营绸布生意，渐次发达，由行商到坐商，开设了“常布铺”，为常家商业的发展奠定了基础。随后，常威的长子常万圮、次子常万旺、三子常万达相继随同前往。除常万旺不善经商，留居落户张家口菜园村务农外，常万圮、常万达均继承父业。到乾隆朝及其后，两兄弟的产业得到长足发展，跻身于巨商大贾行列，在故乡榆次车辋村开始了大规模的宅院建设，首先建成“世德堂”老院。
1768年(乾隆三十三年)，常万王圮、常万达分家析产，常家庄园开始大规模建设。常万圮留在村南祖居“世德堂”老院，称为“南常”。常万达在村北重新购地，填平废渠，建起了“世荣堂”，称为“北常”。从此，逐步形成“南常”和“北常”两大宅院建筑群。
历经乾隆、嘉庆、道光、咸丰、同治、光绪六朝，近150年连年不断修筑，常家庄园形成了房屋5000余间、楼房50余座、园林7处、占地达60万平方米的宏大规模，其建筑面积占到车辋村的一半，在清代晋商大院中首屈一指。民间以此与祁县乔家大院对比，有“乔家一个院，常家两条街”之说。另外，常家在太原清徐县的姚家堡还拥有相当规模的宅院和地产。
1948年(民国37年)，车辋村所在的榆次、太谷、徐沟三县交界地是晋中战役的主战场，“南常”主院“石头巷”遭到很大破坏，“北常”雍和堂正厅被毁。新中国成立初期，“南常”宅院的全部、“北常”后街西面和南面的宅院，大多分配给贫苦农民居住，部分仍留给常氏后代居住;后街东面北侧的20多个院落收归山西省民政厅所有，安排山西第二残废军人疗养院占用。“文化大ge命”中，“破四旧”风行一时，常家庄园数以千计的影壁和砖、木、石雕被当作“四旧”破毁。到20世纪80年代，逐渐富裕起来的农民开始追求新式建筑，“南常”和“北常”宅院大部被拆除、改造。疗养院占用的“北常”部分宅院，虽然也有部分拆改，但大部分基本保持了原貌。
20世纪80年代以来，随着晋商研究的兴起和深入，成立常家庄园开发指挥部，对其主体建筑按原貌修缮修复。20__年9月29日修缮完毕，正式向游人开放。