中国和朝鲜半岛山水相依，由于地理环境的影响，自古以来交流密切，彼此学习交融成为常态。古代朝鲜士人出使北京时，将道路上所见所闻记录在册，形成了极为丰富的燕行文献，这些文献统称作《燕行录》，其中对蓟州历史上的安禄山祠和杨贵妃庙多有记载。
兴建推测：最晚在明朝前期
对于安禄山和杨贵妃庙宇的修建时间未见准确记载，但在1478年由徐居正所编的《东文选》卷十九中，存有李百顺所写的《过渔阳次李眉叟韵》诗二首，内容为：“一上鹅毛寺后峰，禄山曾此炼军容。只因欲夺鸡头肉，岂是争为月化龙。宴会骊山玉蕊宫，芙蓉那似酒酣容。不知今有明驼使，千里殷勤寄瑞龙。”这首诗是燕行文献中首次记载安禄山、杨贵妃事迹，据题名可知是在经过渔阳（即蓟州）时有感而作，其中提及了安禄山在此起兵，暗喻杨贵妃、安禄山的关联，可能在此时安禄山祠、杨贵妃庙已具备雏形，但并没有为人所熟知。由此推测，两庙的兴建时间最晚在明朝前期。
在《燕行录》中，对于安禄山和杨贵妃庙宇的最晚记载，是由朝鲜士人徐庆淳在1855年路遇蓟州时所作，见于其著作《梦经堂日史》中。在此之后，再未见过关于安禄山和杨贵妃庙宇的记录，可能基于某种现实因素的考虑已经拆毁。
中国民间关于安禄山和杨贵妃的逸事有不少，如杨贵妃给安禄山洗澡、杨贵妃与安禄山的暧昧关系、安禄山与杨贵妃探讨舞技等传说。
其中关于杨贵妃为安禄山洗澡这件事，在《资治通鉴》中有相关记载：“禄山生日，上及贵妃购衣服。召禄山入禁中，贵妃以锦绣为大襁褓，裹禄山。”此事在燕行文献中也多有提及，其中对安禄山多以“胡儿”“胡雏”“胡胎”称之，暗指安禄山与杨贵妃的母子关系。朝鲜文人成伣在著作《虚白堂集》写道：“春风荡漾翻霓裳。玉环娇笑侍帝傍。三千粉黛无辉光。养得胡雏出褓襁。”此类记载在燕行文献中比比皆是。在赵纬韩《玄谷集》卷五有《渔阳桥》一诗：“烟树微茫客路迟，蓟州城外石桥危。因思鼙鼓惊霓舞，却怪金钱洗禄儿。”这也就涉及到杨贵妃“洗禄儿”的传说。安禄山，本为胡儿（突厥人），为了讨好唐玄宗，拜杨贵妃为义母，在安禄山生日后的第三天，杨贵妃按民间习俗，用锦绣做成大襁褓，将安禄山像婴儿一样包裹起来，为他举行“洗三”仪式，然后让宫女们用彩轿抬着安禄山在宫中游行嬉戏。安禄山也装作婴儿的样子，撒娇卖萌，逗得杨贵妃和宫女哈哈大笑。唐玄宗听闻后也觉得有趣，为此赏赐给安禄山大量金钱。
燕行文献中也大都记载杨贵妃与安禄山的母子关系。至于两人之间到底有没有私情，各种小说、笔记和野史说得有鼻子有眼。《资治通鉴》中也记载：“自是禄山出入宫掖不禁，或与贵妃对食，或通宵不出，颇有丑声闻于外，上亦不疑也。”自“洗三”仪式之后，杨贵妃与安禄山的关系就更加亲密了，而安禄山也经常跑到宫里，两人总是欢声笑语。另外，据《旧唐书·安禄山传》中记载，安禄山晚年体重近三百三十斤，行动很是不便，但却善于跳胡旋舞，在唐玄宗面前跳得更是“疾如风”，这大概是因为胡旋舞出自他的故乡西域。杨贵妃也很善于跳舞，最为著名的就是《霓裳羽衣曲》。当时唐朝对胡旋舞的学习盛极一时，杨贵妃对于胡旋舞高手安禄山的舞技一定是感兴趣的，为此还曾拜他为师，如白居易《胡旋女》诗中所言：“中有太真外禄山，二人最道能胡旋。”明确指出杨贵妃与安禄山都是胡旋舞高手。
唐代的渔阳即今天津市蓟州区，这里是安禄山发动叛乱的重要根据地，蓟州地区流传着不少关于安禄山的传说，这无疑为建造安禄山祠和杨贵妃庙埋下了伏笔。
两寺布局：相对而立、各成院落
据《燕行录》中多条文献记述，安禄山和杨贵妃庙宇建在蓟州地区的山峰之上，极为醒目，路过之人抬头便可得见。但是关于两座庙宇之间所处的相对位置，有两种不同记录，一说两座庙宇相对而立，一说两座庙宇在同一院落中。
关于安禄山祠与杨贵妃庙的相对位置关系，在燕行文献中有多条记录为相对而立。其中最早记录其位置的是1704年出使中国的朝鲜士人李正臣，他写道：“望见一山，上有一大楼阁。山下有大石门，山腰又有数间大院。吾谓马头曰：彼大院，来时闻之，则此是禄山之祠云……山下石门，亦其魂魄往来贵妃庙时出入之门也……又行一里许，路傍有一丹青小院，而其门尽开。马头告曰：此乃杨贵妃祠也。”
1737年朝鲜士人李喆辅记载道:“自此而未到蓟州十余里,路傍有安禄山墓。过浑河,又有庙于渔阳桥傍,可骇。闻贵妃庙亦在于五里桥傍。贵妃庙之与禄山墓相望。”与后来出使中国的朝鲜士人金景善、朴趾源、李喆辅等的记载相差无几。
1848年出使中国的李有骏记载道：“遥望山顶, 上有一祠屋, 曰娘娘庙。置杨妃像, 相对一庙, 曰禄山祠。”最后一次记录其位置的是朝鲜士人徐庆淳，他在著作中写道：“从者指山上神祠曰，彼是安禄山祠。又指西边对山神祠曰，彼是杨贵妃祠。”
上述朝鲜士人的记载虽然有着细微差异，但都不约而同表现出安禄山祠与杨贵妃庙是两座彼此相对独立的建筑。从中还可以窥见两座祠庙的规格差异。相对而言，安禄山祠的建筑规模较为宏大一些，由山顶大楼阁、山下大石门和山腰数间大院组成，形制非常完整。其中山腰大院应该是祭祀的主体位置。然而，对于山下石门的描写也带有一定民间传说色彩，它被说成是安禄山魂魄往来贵妃庙时的出入之门，同时也最能反映出当地民间信俗对两人关系的想象以及对鬼神之说的崇拜。与此相对的杨贵妃庙规模相对小巧，被描述为“丹青小院”。丹青通常代表着色彩鲜艳、装饰精美，说明杨贵妃祠在建筑装饰上可能较为精致华丽。而且相关记述特别强调贵妃庙大门尽开，在感觉上给人以亲和之感，并与安禄山祠的宏大威严形成对比。这些记载更是将安禄山与杨贵妃紧密地联系起来，共同组成和反映了蓟州地区特有的信俗文化。
关于安禄山与杨贵妃祠庙同祀或处同一院落的记载则相对较少。1778年出使中国的李德懋记载云：“距城十里，田畔有两石人，一大一小，大者禄山，小者庆绪。行人以石投其面，至目陷鼻塌，状甚狞丑。山顶有庙，同祀禄山贵妃云。”这里提到蓟州山下有两座石人，分别代表安禄山和安庆绪。但民间流传它们的身份多种多样，说法皆不相同，但两座石人代表的形象，一直是与世俗价值观背道而驰的，因此路过的行人纷纷向石人投掷石块，侧面表达了百姓对安禄山为代表的“乱臣贼子”的痛恨和唾弃。而山顶的庙宇又同时供奉安禄山和杨贵妃，这种布局较为独特，也呼应了民间对安禄山和杨贵妃特殊关系的认知。还有李海应在《蓟山纪程》中写道：“下自盘山，路左山顶有一庙，乃世所谓杨贵妃庙也云……而或称五名山碧霞娘娘之庙，而此称禄山庙。” 李海应所描述的路左山顶庙宇，世人对其称呼不一，有多个名称，可以叫做杨贵妃庙，也可以叫做安禄山庙，可见关于安禄山和杨贵妃祠庙的概念非常模糊。
根据记载多寡和细节描述，安禄山祠与杨贵妃庙应该是对立的，各有单独院落的两座建筑。
具体地点：蓟州五里桥附近
关于安禄山祠和杨贵妃庙具体地理位置，记载中也存在分歧——到底是在蓟州五里桥附近，还是在翠屏山附近？虽然这两处位置相隔不远但地理意义上有所不同。经由笔者实地考察蓟州官道之后，该庙宇建在蓟州五里桥附近更为合理。这是由于蓟州五里桥是北京至沈阳官道的必经之地，关于这条路线燕行文献中的记载极为丰富，皆可以作为印证。而翠屏山附近的道路记载较少，与官道联系较弱，可能是朝鲜士人进入蓟州之后所走的岔道。
除了对安禄山祠和杨贵妃庙外部的描述，朝鲜士人对祠庙内部也有记录，尤其对于贵妃庙内部的描写较为丰富。同时，朝鲜士人对两座祠庙形成了特有的评价，反映了其接受儒家教育影响的文化背景，这些也都被燕行文献记录在册。
最早记载祠庙中内部形态的仍是朝鲜士人李正臣，他写道：“此乃杨贵妃祠也。见其塑像，不用脂粉，自面以下，全是金身。弱质袅娜，腰如束素矣。吾曾闻之，飞燕太真，虽并称绝色，飞燕瘦细，太真肥泽云。”
朴趾源对杨贵妃与安禄山的塑像都有描述：“贵妃像妖艳如生，而禄山像胖大，皤然露腹，备极丑态云。不毁此淫祠者，所以鉴戒后人与？”至于李海应与金景善关于安禄山祠和杨贵妃庙内部的记载则如出一辙：“路左山顶有一庙，乃世所谓杨贵妃庙也云。有金像女子戴花冠，而面貌端丽。”
朴趾源将杨贵妃像与安禄山像进行了强烈的对比。从这段文字可知，进入庙内映入眼帘的便是二人塑像，贵妃像上浓妆淡抹脂粉气厚重，仿佛具有鲜活的生命力。反观禄山像膀大腰圆，以大腹便便之丑态憨坐其中。作者对安禄山、杨贵妃之塑像极尽夸张之词，谓之“妖艳”和“丑”，这些都具有深刻的文化象征意义，更是对安禄山历史行为的一种批判。李海应、金景善记载杨贵妃像“戴花冠而面貌端丽”，恰好暗合《长恨歌》中“花冠不整下堂来”的贵妃形象。