云冈石窟,万千造像立于崖壁,沉淀着北魏石刻艺术的璀璨光华。近年来,云冈石窟已经积累了大量高精度三维扫描、图像和文献资料。如何让这些数字化成果不仅能够“看见”,还能够进一步服务考古研究和文物保护,成为云冈研究院与长安大学团队共同探索的方向。
今年3月份,由云冈研究院与长安大学文物数智化保护与传承研究院联合开展的“云冈智岩——云冈石窟千佛造像比例的AI智能提取与计算考古”项目入选腾讯“探元计划NextGen”,成为全国6支入选队伍之一,也是陕西省唯一入选队伍。探元计划致力于推动人工智能技术与中华文化遗产的深度融合,助力传统文化创新发展。项目历经五个月共创孵化,在多方专家指导下现已取得阶段性成果。
先让AI“认清”再给造像“量体”
在云冈石窟,大小不一的造像层层分布于洞窟之中。对于长期从事石窟考古研究的专家而言,造像在不同时期形成的风格差异,可以通过形体、服饰、比例等特征进行判断。但如何进一步将这些长期积累的专业经验转化为可以记录、比较和分析的数据,仍然是数字化研究面临的问题。
据研究团队介绍,项目以云冈石窟第38窟等典型洞窟为研究对象,围绕术语规范、时空知识图谱、三维点云语义分割、多细节层次表达以及造像比例智能量算等内容展开,希望借助人工智能技术,进一步挖掘已有数字化数据的研究价值。
三维模型能够较为完整地记录石窟与造像的几何形态,但如果缺少和考古知识之间的关联,模型本身依旧只是一份数字化记录。如果不搭配考古文献、历史信息,它就是一份精美的立体数字档案,无法直接开展考古研究。围绕这一问题,长安大学侯妙乐教授团队首先对云冈石窟相关考古报告、历史文献、高清影像和三维数据进行整理,并针对石窟研究中的专业术语建立规范化表达。目前,团队已围绕洞窟、造像、构件等内容建立多层级术语体系,并在此基础上融合时间、空间等信息构建时空知识图谱,使原本分散的文献知识、空间位置和文物对象能够逐步建立关联。“与此同时,针对高精度三维模型数据量大、不同场景调用需求不同的问题,团队研究了石窟模型的多细节层次(LoD)表达方法,根据应用需求形成不同精度的模型,为后续浏览、分析和计算提供基础。”一名团队成员介绍。
开展造像比例计算,首要难题是让计算机在复杂的石窟三维数据中,准确分辨出各类文物对象。
云冈石窟第38窟造像排布密集,很多造像存在粘连、残损、风化问题。三维扫描生成的海量点云,对计算机来说只是原始数据,无法自动分辨佛像、佛龛与其他石刻构件。为此,团队开展石窟造像点云智能分割研究,结合造像几何特征和洞窟空间结构,实现佛像、佛龛、供养人及石刻构件的识别拆分。完成对象识别后,团队着手造像智能量算。造像保存状况、姿态各不相同,采用固定点位测量,得出的数据很难横向对比。研究人员提取造像头、肩、躯体等关键部位,制定统一量测标准,测算头身比、肩宽比等参数,将以往人工一尊尊观测的工作,变为能够批量处理、对比分析的数据。
尽管AI可以高效地从海量三维数据中提取特征、批量算出各类量化指标,但这些数字本身不会“说话”,数据背后蕴藏的考古内涵,依旧需要文博专业人员开展分析研判。
对齐时空坐标“激活”零散文物数据
暑期,项目团队驻扎云冈石窟开展集中攻关,对项目现阶段技术路线和实际应用需求进行进一步验证。期间,长安大学副校长范文带队赴云冈研究院调研文物数智化保护工作,看望实践师生团队,并重点听取了“云冈石窟千佛造像比例的AI智能提取与计算考古”项目进展汇报。调研过程中,范文结合项目进展,对多源文物数据的时空对齐等问题进行了指导。
对于石窟数字化研究而言,文献、照片、三维模型以及不同阶段采集的数据往往来源不同。只有进一步明确这些信息所对应的洞窟、壁面、造像和具体空间位置,才能更好地建立不同数据之间的关系。“这一思路也与团队正在开展的时空知识图谱工作相衔接。下一阶段,项目将进一步完善不同来源数据之间的空间关联,使文献知识、三维对象和智能分析结果能够在统一的空间层级下组织,为后续研究提供更加清晰的数据基础。”团队相关负责人表示,当造像能够被逐一识别,关键结构和比例参数能够被提取之后,这些数据还可以进一步为残损造像研究提供参考。
眼下,研究团队充分利用现有的三维扫描资料、造像尺寸比例、局部样貌细节,对比研判各个佛像之间的相似程度,打算给那些遭到损毁的造像,找到可以拿来对照参考的同类造像。一名团队成员解释:“这项研究并不是要用人工智能直接输出一份修复好的方案,而是把可供参照的相似造像、石窟结构资料、文物现存的破损状态,加上专家的专业判断,再整合到一起,为后续开展虚拟修复工作提供更明确完整的参考依据。”
构建专业大模型 让石窟文献会“答问”
随着项目研究走向深入,团队尝试借助AI技术,重构云冈石窟文物知识的整理逻辑,让海量石窟数据能够实现更高效的智能解析。
围绕这一方向,项目技术负责人、长安大学青年教师师皓玥带领团队开展云冈石窟专业知识大模型研究,将考古文献、图像资料、空间知识图谱等多源数据与大语言模型结合,探索面向文化遗产场景的智能问答与知识推理方法。目前,团队已经搭建云冈石窟知识的智能问答原型,将相关文献资料和知识图谱用于辅助检索和回答,使研究者可以通过自然语言查询相关知识。
“下一步,团队计划继续补充云冈石窟专业文献和图文资料,完善知识库以及图像、文本与空间对象之间的对应关系,提高专业问题检索和回答的准确性。”师皓玥表示,团队还将进一步探索大模型与已建成的知识图谱、造像识别、智能量算工具的融合应用,把此前相互独立的各项研究成果串联起来。期待借助大模型技术,打通文献资料、知识图谱、三维洞窟数据之间的知识壁垒,同时尝试实现根据实际研究需求,自动调用造像识别、数据量算等工具。
未来,团队将面向文物数据基础设施建设和石窟考古保护利用需求,进一步融合多源数据、知识图谱与专业大模型,探索文化遗产从数字化保存走向智能化认知与研究利用的新路径。 (记者 任娜)