乾隆三十五年(1770年)是乾隆60大壽之年，次年是皇太后鈕祜祿氏80壽辰。西藏、青海、新疆、蒙古等地各族王公首領都要求赴承德祝壽。乾隆異常重視這兩次盛大集會，特令內務府仿前藏政教領袖達賴駐地拉薩布達拉宮在承德修建此廟。乾隆三十二年(1767年)三月開工，原計三年竣工，因施工后期失火，延至三十六年(1771年)八月竣工，占地21.6公頃。
普陀宗乘是藏語布達拉的意譯，故此廟亦稱布達拉，因規模比西藏布達拉小，俗稱小布達拉宮。普陀宗乘之廟總體布局與西藏布達拉宮相似，無明顯中軸線，氣勢趕不上西藏布達拉，但其占地之廣、體量之大卻為內地寺廟所僅有。
全寺平面布局分前、后兩部分：前部位于山坡，由白臺、山門、碑亭等建筑組成；后部位于山巔，布置大紅臺和房堡。按特征分，可分三部分：第一部分由山門、碑亭、五塔門、琉璃牌坊組成；第二部分是白臺群，由若干大小白臺組成；第三部分為大紅臺。白臺群成“×”形，上拱大紅臺，下圍山門、碑亭、五塔和牌坊，這種建筑布局為外八廟也是中國寺廟建筑所獨有。
