介休历史悠久，国内史籍最早记载介休历史为周代鲁隐公五年（公元前718年）。
公元前636年，晋文公返国赏随臣，介子推不言禄，与母隐居绵山。晋文公焚林求贤，子推竟与母抱树而死。后，介休即依介子推休于此而得名。
自公元前514年起，介休历史上先后东部建置邬县，西部建置平周邑，秦始皇设郡县，城区建置界休，以后改为界美、介休、平昌。
北周时期，曾设置介休郡。
隋开皇十八年（598年）改名介休县，自此历代县名均不改。
隋为介休郡治，唐为介州治。
贞观元年（627年）州废后，县属汾州，五代、宋、金因之。
元初属太原府，至元二年（1265年）还属汾州，明清属汾州府。
民国属冀宁道。抗日战争时期在本县与平遥县之间设置平介县，属晋绥边区。
1949年10月中华人民共和国成立后，介休属山西省榆次专区。
1958年，介休、灵石、孝义三县合并，称介休县，属山西省晋中专区。
1961年4月，三县分置，介休仍属晋中专区。
1992年2月，经国务院批准，介休县改为介休市，为县级市，仍属晋中行署。
2000年晋中正式撤地设市，改为晋中市，介休市属晋中市。