《抱朴子》记录了南越王赵佗的故事：“赵佗子服桂二十年，足下生毛，日行五百里，力举千斤。”大意是赵佗服用桂二十年，脚上长出了毛发，每天能行走五百里，能够举起一千斤的重物。
赵佗服用的并不是桂花，而是樟科樟属植物肉桂。古人很早就发现了樟属植物的树皮气味芳香的特点，将肉桂和同属的华南桂、柴桂、川桂等植物的树皮用做香料，俗称“桂皮”。《九歌·东皇太一》中最早出现了“桂酒”：“蕙肴蒸兮兰藉，奠桂酒兮椒浆。”汉代王逸注：“桂酒，切桂置酒中也。”“切”体现出所用香料是坚硬的桂皮，而非可以直接放在酒里的桂花。屈原在《楚辞》中，多次写到“桂舟”“桂棹”“桂栋”，所指的都是樟科桂树。木樨科桂花是灌木，做不了房梁和船桨，它的香味主要由桂花释放出来，枝干没有香味。
原产于中国的肉桂，是高大的常绿乔木，分布在广东、广西、云南、福建等省份的热带、亚热带地区，树皮和木质含芳香油，正适合做建筑材料。《山海经·南山经》载：“南山经之首曰昔隹山。其首曰招摇之山，临于西海之上，多桂。”《吕氏春秋》总结：“物之美者，招摇之桂。”广西桂林市的地名由来，就和当地盛产肉桂有关，贾谊《过秦论》称：“南取百越之地，以为桂林象郡。”
先秦时期，同样具备辛辣和香气特质的肉桂和姜是主要的调味品，合称“姜桂”。《礼记·檀弓上》载：“食肉饮酒，必有草木之滋焉，以为姜桂之谓也。”后来姜桂又用来比喻人的性情正直刚毅，《文心雕龙》曰：“夫姜桂同地，辛在本性。”《晋书·郤诜传》记载了“折桂”典故：“武帝于东堂会送，问诜曰：‘卿自以为何如？’诜对曰：‘臣举贤良对策，为天下第一，犹桂林之一枝，昆山之片玉。’”大意为武帝在东堂和郤诜相见，问郤诜：“爱卿认为自己怎么样？”郤诜回答：“我认为在贤良对策这方面，自己是天下最好的，就好像是桂林中的一枝，昆仑山上的玉一样。”
后世遂以折桂比喻科举及第，还衍生出了代指科举落第的“失桂”。其实“桂林一枝”原本指的仍是樟科的桂，但因为古时乡试在农历八月举行，正值桂花飘香，人们便习惯以桂花代之了。
西方人熟悉的肉桂和我国的桂皮略有不同，是同属的锡兰肉桂的树皮，原产于印度、斯里兰卡等地。它质地较薄，味道更甜，不像桂皮具有较浓的辛辣味，更适合为糕点、饮料等甜品调味。肉桂在欧洲一度贵比黄金，古代欧洲人不了解肉桂的来源，为它赋予了神秘的色彩。希腊历史学家希罗多德记载了阿拉伯商人讲述的故事：在东方有一种凶猛的大鸟，用肉桂树筑巢，人们要冒着生命危险用全牛做诱饵，才能夺取珍贵的肉桂。在16世纪初开辟新航路后，葡萄牙人一度控制了斯里兰卡的肉桂贸易，后来又被荷兰人抢走了控制权，为荷兰的“国民美食”增加了肉桂焦糖华夫饼、肉桂小饼干等点心。直到18世纪，英国在所控制的印度殖民地大规模种植肉桂，才打破了垄断态势，让肉桂不再是难以问津的香料。