这个成语故事发生在春秋初期的卫国。《史记·卫康叔世家》载：卫国的初封卫侯康叔为周武王姬发的同母幼弟，而初封的邢侯姬苴为周武王同母弟周公姬旦第四子，按辈分说，卫国侯康叔是邢侯姬苴的老叔。邢、卫两国关系本来很好，后来在狄人的压力下，邢国错误地同狄人结盟，攻打同宗的卫国，引起卫国怨恨，招致公元前635年卫国灭邢国，卫国存在800年，历史长故事多，战国时期出了大名鼎鼎的改革家吴起和商鞅及本文要说的“大义灭亲”的故事。
这个成语故事发生在卫前庄公时期，存在800年的卫国，有两位庄公，历史上称卫前庄公和卫后庄公。卫前庄公没有嫡子，有庶长子完，可卫前庄公内心喜欢的是宠妾生的儿子州吁。州吁依仗着卫前庄公的宠爱，成天和一些狐朋狗友舞刀弄枪，大有谋夺王位的野心。卫国大夫石碏认为这个问题严重，便向卫前庄公进谏：“我听说爱护子女，要对他们进行正确的教育，不能让他们随意下去走上邪路。骄傲、奢侈、荒淫、放荡，一个人走上邪路都是从这四个方面开始的。”因此，他向卫前庄公建议，当今之大计，应当明确储君的人选，如果想立州吁，就应当明确下来，对他加强教育。如不想立他，就要严加管教，让他彻底打消当侯王的念头，否则会酿成祸乱。对于大臣石碏的正确意见，卫前庄公置若罔闻。
卫前庄公二十三年（公元前735年）卫前庄公去世，公子完在卫国诸大臣拥立下继承王位，是为卫桓公。州吁对于没有继承王位甚为不满，更加骄奢淫逸，结果招致卫桓公的批评和斥责，恼羞成怒的州吁对此情况，干脆离开国都朝歌，回到自己的采邑封地，准备杀害卫桓公，夺取王位。缺乏政治远见的卫桓公，放松了对州吁的警惕，州吁回到封地后，大肆招兵买马，笼络党徒，寻找对卫桓公下手的时机。石碏一向认为州吁不是好东西，但他的儿子石厚却和州吁打得火热，结成铁杆，对此石碏特别忧虑，多次批评儿子石厚，要他同州吁断绝来往，而石厚不听父亲的话，认为父亲对卫桓公是愚忠。在州吁和石厚的密谋下，卫桓公十六年（公元前718年），州吁乘卫桓公出行赴周王室的机会，假装为卫桓公送行，设宴饯行，于席中将其兄卫桓公杀死，自己取而代之当上卫王。
州吁用阴谋杀害其兄夺取王位，臣民对他没有好感，州吁也觉察到这一点，他决定对外发动战争，一是转移人们的视线，二是想通过打胜仗树威。他联络对郑国不满的宋、陈、蔡三国，攻打郑国，竟取得胜利。州吁虽取得胜利，但卫国臣民对他的印象并没有改变。认为他穷兵黩武，劳民伤财，对他更加厌恶。州吁虽坏，也想得到臣民的拥护，他想到了好友石厚父亲石碏在卫国德高望重，如果能得到石碏的支持，会提高自己的地位，于是让石厚劝说父石碏支持自己。
在家养老的石碏，原本厌恶州吁与儿子石厚，却一反常态，和颜悦色和儿子交谈甚欢，他告诉石厚，要想得民心，首先要尊敬周天子，但州吁篡夺而得王位，要面见周天子是有困难的，听说陈桓公和周天子关系不错，因此第一步，州吁应先去拜见陈桓公，请其在周天子面前美言，一切说妥好，州吁再去面见周天子。石厚将父亲之言转告州吁，州吁听了十分高兴，准备了厚礼，准备让石厚一块去面见陈桓公。州吁和石厚一行高高兴兴地来到陈国，迎接他们的不是陈桓公，而是全副武装的陈国士兵，州吁和石厚还蒙在鼓里，就沦为陈国的阶下囚。
石碏虽退休在家，但推翻州吁的思想未变。当石厚前来问计，石碏正好将计就计，劝说州吁、石厚前往陈国，而石碏早已暗中派人告知陈桓公，说州吁和石厚在卫国弑君篡位，乃叛逆之徒，请求陈桓公帮忙将其捉拿，由卫国处理。陈桓公听从了石碏的意见，在石碏的主张下，卫国当即派人赴陈国将二人杀死，将流落在邢国的卫前庄公另一个公子子晋迎回，是为卫宣公。至此，州吁之乱告一段落，而石碏为结束动乱，不惜结果儿子的性命，也受到后世的尊崇。这就是成语“大义灭亲”的由来。