古代皇帝去世后，葬礼是国家大事，通常情况下由威望较高的宰相或皇亲贵族主事，以示对已故皇帝的尊重。唐朝初年，朝廷为了办理丧事临时设置了管事职位，因帝王的坟墓称作“山陵”，所以叫“山陵主事”。
唐高祖去世后，山陵主事先后由高士廉、房玄龄担任，高士廉是长孙皇后的舅父，时任尚书右仆射，不但归附唐朝有功，地方治理也有一套，为人处世颇受李世民赞赏，房玄龄时任尚书左仆射，安定社稷、运筹帷幄方面有功，是李世民非常器重的大臣。
葬礼结束后，高士廉、房玄龄都因负责皇陵事宜而加封进爵，高士廉加封特进、上柱国，房玄龄因功加封开府仪同三司。由此看来，这一时期的山陵主事完全是个美差，不但可以继续留在皇帝身边，还能官升一级。
公元762年，唐肃宗去世，此时的唐朝经历了安史之乱，国运由盛转衰，刚刚继位的代宗在肃宗山陵主事安排上费尽心思，起初任命的是右仆射裴冕。裴冕是肃宗的旧臣，为其送葬更显深情厚意。在朝廷的任命文件中，第一次使用“山陵使”这一称谓，“山陵主事”由此改为“山陵使”，并一直沿用至宋代。
肃宗葬于建陵，作为山陵使的裴冕不但尽心尽力，还推荐心腹刘烜为山陵使判官。不幸的是，刘烜在此期间犯事获罪，裴冕因此受到牵连，被贬为施州刺史，山陵使一职不得不另换他人。随后发生的事情大大出人意料，代宗意外任命来瑱做新一任山陵使。当时，来瑱因受部下陷害，受到肃宗猜忌和冷落，属于戴罪之身，此时被任命为山陵使有违前朝惯例，很多人不明白这样做的用意。后来事情的发展果然很反常，葬礼结束后不久，来瑱就因与叛党勾结而被赐死。
与来瑱一同被任命为山陵使的还有名将郭子仪。山陵使本来是无比荣耀的职务，但因为和罪臣的名字并列，郭子仪心里惴惴不安，连忙上书代宗皇帝，除了表明自己对朝廷忠心耿耿，还希望将这个职位让给别人。
郭子仪的担心并非空穴来风，他南征北战，平定安史之乱，收复长安、洛阳，是名副其实的功臣，代宗担心其功高难制，所以想借此打击压制，任命其为山陵使就是皇帝发出的严重警告。后来郭子仪被罢回京师，失去兵权，直接证明了山陵使不好当。
代宗在山陵使选任问题上另辟蹊径，形成以前朝大臣担任，事后罢免官位的新路子。德宗即位后延续了先帝的思路，任命重新起用的郭子仪、崔宁为代宗葬礼山陵使。郭子仪二次充任山陵使，葬礼结束后虽赐号“尚父”，但副元帅等职务全部被罢免。崔宁的结局更惨，不但西川节度使职务被罢免，还被莫名其妙地杀害，结局令人唏嘘不已。
到了宋代，山陵使选任一直延续代宗的做法。宋太宗山陵使由儿子元份和宰相吕端担任，前朝旧事历历在目，吕端不傻，于葬礼后主动辞职。宋仁宗去世后，丞相韩琦出任山陵使，事后也主动辞职，但因刚刚继位的英宗生病、边境不稳等原因，辞职一事没有下文。后来，韩琦又再次担任英宗葬礼山陵使，也许心存侥幸，这次他并没有按照惯例递交辞呈。丧事后本应居家待命，韩琦却私自还朝，他的行为立刻遭到御史中丞弹劾，其他大臣也纷纷上书他留恋相位，在众人的逼迫下，韩琦不得不辞职离任。
按照资历，秦桧本该出任徽宗丧事山陵使，但他很会变通，物色了信安郡王孟忠厚代替自己，最终保全了宰相之位。王淮被任命为高宗山陵使时，以母亲年事已高为托词，提请不做山陵使，愿以总护使完成任务。
唐宋时期，围绕山陵使发生的故事在宫廷不断上演，每一个都饱含了无奈和痛苦，每一件都充满血泪与杀机，最终使得山陵使一职蒙上“凶相”，成了烫手山芋，很多人唯恐避之不及，恨不得拱手送给别人，“不做山陵使”成了宰相们的内心独白和绝望呐喊。