津人陈荫佛乃陈翯洲先生弟子，工书法，所写甲骨文，足堪一绝。且善于绘画。尤酷嗜金石文字，问业于罗振玉。
他收集汉魏名刻拓本甚夥，兼六朝墓志、造像，多为精品。如汉《史晨碑》，为明拓整本；唐钟绍京书《纪国公碑》，为明拓整本，则系海内孤本。近拓如三原于氏鸳鸯七志斋魏墓志拓本，刘珍年拓《云峰山刻石》42种，鹤洲和尚手拓焦山《瘗鹤铭》。武进陶氏藏魏隋墓志，乾隆墨所拓，纸墨精良，字画可人。敦煌石室所出唐人写《妙法莲华经》卷，首尾完具，书法俊逸。
书法篆刻家齐治源先生在言及天津的古物收藏鉴赏时说：“陈荫佛先生不光藏有碑帖精品，他还收藏了一批古代铜镜、古铜印、古砚等。他收藏的宣德炉至少有一百多件，除带宣德年款者，还有‘琴书侣’私家款的。当年我与陈先生多有接触，从他那里得见许多珍稀藏品，真是大开眼界！”古钱币收藏家、国家文物鉴定委员会委员唐石父在世时曾说：“我二十来岁时，结识了王襄、陈荫佛等老一辈考古学家，在王、陈二先生指导下，通过金石碑版研究文字源流和书法艺术，我就是从他们那里找到了门道。”