天津吕祖堂位于红桥区如意庵大街何家胡同18号（今芥园道），始建于明宣德八年（1433）。最初不过是座私人祠堂，规模不大，延续二百多年。清康熙五十八年（1719）重建，改为吕祖堂，供奉吕祖。吕祖就是“八仙”神话中的吕洞宾。吕祖堂在几百年间的历史长河中，曾经香火旺盛不断，后逐渐走向衰败。
吕祖堂的最后一位道士名叫李智远，别名李振子、李玉书，生于1894年，从小在吕祖堂中长大。他14岁时到天后宫火神殿学习念经，15岁学道教和道家音乐，善于吹笙、笛，练成了好乐手。33岁到北京白云观受戒，回到天津吕祖堂后成为住持。吕祖堂此时冷冷清清，香火寥寥，他与家人过的是朝不保夕的贫困生活。后来为了躲债，李智远独身一人跑到了东北沈阳，躲在亲戚家。后稍有积蓄便不辞而别，偷着跑回天津。此时他已年过半百，有妻子儿女共六口。万般无奈之下，他借了点钱，在吕祖堂内开个小煤厂，每天与家人一起靠摇煤球维持生活。
天津解放后，吕祖堂已经名存实亡。公私合营时，李智远把煤厂交给了二儿子经营。他在1955年参加了天津火花评剧团的乐队，当伴奏师。1958年，李智远已64岁，因病退休。他退休后也不闲着，在吕祖堂与老伴儿一起糊药盒挣点零钱花。
1985年，天津市政府决定重新修建吕祖堂，筹建天津义和团纪念馆。在腾迁时，李智远非常支持配合，他从出生的吕祖堂搬出后，又回迁到附近宽敞明亮的新楼房，仍然住在居住了90多年的故地，享年93岁。