潭柘寺整个建筑群充分体现了中国古建筑的美学原理，以一条中轴线纵贯当中，左右两侧基本对称，使整个建筑群显得规矩、严整、主次分明、层次清晰，其建筑大体可分为三个部分，中路依次列有牌楼、白石桥、山门、天王殿、大雄宝殿和毗卢阁，东路有方丈院、延清阁、流杯亭、行宫院和舍利塔，西路有观音殿和石鱼。殿堂随山势高低而建，错落有致，其建筑形式有殿、堂、阁、斋、轩、亭、楼、坛等，多种多样。

中轴线最南面是一座巨大木牌坊，形制为三间四柱三楼，顶覆黄琉璃瓦，檐下装饰有斗拱。木结构全部彩绘，前额上书金字“翠嶂丹泉”，后额书“香林净土”，都是康熙御笔。牌楼过来是一座单孔石拱桥，横跨在深涧之上，名叫“怀远桥”。过了桥就是山门，砖石结构，歇山项，面阔三间，开有券门三座，券面均为汉白玉石雕花，明间上正中悬匾额，上为康熙御笔“敕建岫云禅寺”。山门两侧为红院墙，蓝琉璃瓦顶，墙上镶嵌有琉璃大字，左为“佛日增辉”，右为“法轮常转”。山门过来为天王殿，面阔三间，绿琉璃歇山顶，檐下装饰有斗拱，大殿内供奉四尊高约3米的巨大彩塑神像。天王殿前两旁为钟楼和鼓楼。

天王殿后的大雄宝殿是全寺建筑中地位最高的大型建筑，面阔五间，从檐庑殿顶，黄琉璃瓦绿剪边，上下檐均装饰有斗拱。上下檐明间部位悬挂有金字大匾，上檐为“清净庄严”，下檐为“福海珠轮”，均为乾隆所书。殿前有宽大月台，四周绕以石栏，有汉白玉石垂带踏步可供上下。大殿内正中供奉佛祖释迦牟尼雕像，神态祥和，背后有背光，背光之上雕饰有大鹏金翅鸟、龙女、狮、象、羊、火焰纹等。佛像下面是石质须弥座，左右两侧分别立有阿难、迦叶雕像，这些像雕刻精美，木质漆金，为清代遗物。

大雄宝殿后是三圣殿，殿两侧植有二株巨大而有气势的银杏树。东边一棵高达30米，树冠浓阴遮盖大半庭院，树干需几人合抱才能围拢，相传为辽代所种，距今已有千年，现在仍枝叶繁茂，生机盎然。

三圣殿后面是中轴线上最后一座楼阁式建筑，名为毗卢阁，面阔七间，上下两层。下层室内有木质漆金菩萨五尊，均带有背光。殿内挂有乾隆帝手书大匾“圆灵宝镜”和一副“寺枕龙潭，七祖分支传妙法；山连鹫岭，九峰环翠拥诸天”的楹联。殿上部为三世座佛，下承六角形须弥座。站在最上层，举目远眺，远处群山如黛，近处全寺尽收眼底。

传说，当年紫禁城的设计师、明成祖永乐皇帝的重臣姚广孝从潭柘寺的建筑和布局中获得了不少灵感，现在北京城的许多地方都是依照潭柘寺的样子修建的，所以北京城的许多地方都与潭柘寺的建筑同名，因此，有人认为，北京紫禁城的建筑布局是仿照潭柘寺而来的。

这种说法，看起来似乎有理。例如，龙潭、白石桥、紫竹院等都与故宫相似。潭柘寺的“九门九关”与北京城的内城九门相吻合，其大雄宝殿更是与太和殿如出一辙。大雄宝殿为我国古建筑中最高等级的重檐庑殿式，殿内用井口天花板，油漆彩绘的图案为金龙和玺，这些只有在故宫的正殿才能见到。殿顶上巨大的琉璃鸱吻高达2.9米，仅比故宫太和殿上的小0.4米，四条垂脊上的鸟兽在骑凤仙人后面有七个，仅比天安门上的装饰低一个等级。

北京城里的故宫有房9999间半，潭柘寺在鼎盛时期的清代有房999间半，俨然是故宫的缩影。另外，寺内还建有只有在中南海、圆明园、恭王府才见得到的流杯亭，而毗卢阁顶上大脊两端的吻兽上的“凤在上，龙在下”的图案则更是罕见，除了清东陵的慈禧墓外，这里是绝无仅有的一处了。寺内的延清阁和旃檀佛楼巧妙地利用了寺内地势的高低不同，从南看是两层楼阁，从北看是一层的轩堂，与颐和园内谐趣园的瞩新楼建筑风格相同。潭柘寺建于故宫之前，因此，故宫的建设者从潭柘寺的布局模式中得到启发，找到灵感，应该是有道理的。

但也有人提出不同看法，他们认为，潭柘寺的建筑规格虽然很高，但紫禁城并不是仿它而建。

持这种观点的理由是，潭柘寺在明清期间就已经是皇家寺院了，在其不断的维修和扩建过程中，会有大量的皇家建筑风格融入其中。潭柘寺的大雄宝殿是重檐庑殿顶，与故宫太和殿的设计模式如出一辙，其殿脊琉璃鸱吻被四条鎏金长链“锁住”的造型也与太和殿的鸱吻一样。金黄色的琉璃瓦、斗拱和彩画、玺金龙彩画等，这些都体现了潭柘寺在明清时期的皇家地位。

寺内拥有楞严坛、朝房、大悲坛、毗卢阁、观音殿、流杯亭、行宫院等大量类似皇家园林的建筑，只是说明清朝历代皇帝将潭柘寺当作了自己的家庙，因此融合了大量皇家气氛。但到底是故宫仿照潭柘寺，还是潭柘寺效法故宫，仁者见仁，智者见智，众说纷纭，到现在还是没有定论。