随着计算机软硬件技术的发展,利用虚拟现实技术进行三维场景的构建、漫游已成为可能。
从硬环境和软环境两个方面阐述了徐悲鸿虚拟博物馆的构成;
搭建了双通道沉浸式虚拟环境,探讨了基于PC机群的多通道立体交互漫游的若干关键技术问题;
以博物馆数字化建设为背景,对徐悲鸿博物馆的建筑物、生前作品及其塑像进行了三维重建,通过佩戴立体眼镜、头盔、数据手套等交互设备实现了整个博物馆内、外场景的三维立体虚拟漫游,足不出户地赏析文物作品。
早在 20 世纪 90 年代初期,英国大英博物馆、美国大都会博物馆等大型博物馆或者建立了自己网站、或者实现了虚拟漫游;
另外还有数字化巴黎卢浮宫项目、土耳其伊斯坦布尔的 Fatih 清真寺的数字化工程等。
近年来,我国在文物数字化相关领域也有较大发展,教育部设立了"大学数字博物馆建设工程"、敦煌研究院与美国西北大学共同开展"数字化敦煌壁画合作研究"、故宫博物院与日本凸版印刷公司开发了虚拟故宫等。
在展示环境方面,近年来基于联网 PC 驱动的构建方法逐渐成为多投影面虚拟环境系统的发展趋势,它解决了低成本与高性能之间的矛盾,相对比较经济,其特点是使用 PC 机群,通过分布绘制,采用多台投影机组合而成多通道大屏幕展示系统,比普通的标准投影系统具备更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率,以及更具冲击力和沉浸感的视觉效果。
它是目前国内外学者研究的热点。
结合上述技术,本项目对徐悲鸿博物馆的内、外场景进行了三维数字化仿真,包括室外庭院、一个序幕厅和七个展室,以及徐悲鸿先生生前画室的复原和珍贵遗物,搭建了双通道环幕 VR 环境参观者可以任意漫游其中。
1、 双通道环幕 VR 环境搭建
1.1、总体设计
该项目方案为双通道、110 弧度金属环幕立体投影系统,采用 4 台高亮度专业工程投影机,2 台高性能 PC 机,1 台中控 PC,将 4 个画面投影到 VR 专用高增益金属硬质投影环幕上,参观者戴上头盔或立体眼镜,能感受到高临场的视觉效果,加之超宽屏幕,超大视角,结合重低音立体环绕音响,更加体验出宏大的震撼效果。本实验室双通道立体环幕投影系统结构见图 1 所示。
图 1 双通道立体环幕投影系统示意图
1.2、几何校正/边缘融合
生变形,引起几何失真,即通常所说的梯形失真和非线性失真。梯形失真的问题一般可以通过调节投影机的自身梯形校正功能来解决,对于非线性失真,则一般采用软件的方法来进行几何校正。
由于柱面投影的特殊性,在没有曲面矫正的情况下,无法保证两个投影画面的完全重合。
本系统采用曲面矫正模块,投影在任何曲面上的图像,经过矫正可获得一个正规的图像,见图2所示。
图 2 几何校正前、后图
当两台或多台投影机组合投射一幅画面时,相邻投影机之间有小部分图像区域重叠,边缘融合的最主要功能是把重叠部分的光亮度逐渐调低。本系统采用多通道边缘融合模块,通过调整相关参数,使其中一台投影机的图像采用淡出,而另一台则采用淡入,使整幅画面的亮度一致。
这一过程在PC 端完成,避免使用价格昂贵的硬件融合机,从而实现双通道画面的融合,在显示效果上表现出一个没有缝隙、高分辨率、亮度一致的整幅画面,画面的效果就好象是一台投影机投射的画质。
边缘融合实验见图 3(a) (b) 。
1.3、画面同步
多个投影画面间的拼接绘制,并不能保证各通道输出的图像形成逻辑统一和正确的整体画面,因为各通道输出画面在动态实时绘制过程中还会出现绘制速度的不同步及用户交互数据网络传输速度的不同步,这两者都将导致投影画面的混乱。
为保证各通道同步输出场景画面,本系统采用多PC 级联网计算模块,抛弃了过去那种使用价格昂贵的多头显卡进行多通道计算方式,使用多台 PC 形成多节点主从模式。
一台 PC 作为主控台,两台 PC 为从属渲染输出节点。
每个 PC 均存有相同的场景文件,主控台与交互设备相连。当交互设备动作时,主控台将这些运动控制信息与同步信息一起发往从属 PC,从属 PC 响应这些信息,通过计算生成相应同步画面并输出显示。
1.4、立体显示
三维立体显示对于实现虚拟现实的沉浸感十分重要,没有深度层次的立体视觉效果就不可能有身临其境的感觉,它是实现虚拟现实系统的关键技术之一。
本系统采用立体投影模块,利用偏振光立体显示原理对各个通道投影面的图像进行被动式立体显示,将三维场景进行视觉分离,立体视觉模型对两个视点分别进行计算,输出为左眼、右眼两个通道,以实现立体影像。
景深和立体效果可实时调整。与传统的主动式立体相比,提高了显示刷新率及运算能力,画面流畅,观察者的眼睛没有闪烁感,不疲劳。
如图 4 所示,用两台PC 机分别生成具有一定视差的左右眼图像, 然后经过放置在两台投影机前的两个起偏镜片偏振后投影在金属投影屏幕上,观看者配戴头盔或立体眼镜(一组相互正交且分别与两个起偏镜片偏振方向一致的检偏镜片)观察时,让每只眼睛只能看到立体图像对中的一幅图像,给人以立体的感受,获得沉浸感。
图 4 被动式立体显示过程
2 、虚拟博物馆的制作
徐悲鸿博物馆主要建筑包括外景花园、一个序幕厅和七个展室,馆内珍藏徐悲鸿先生大量油画、国画及素描作品。
依据博物馆内外场景的真实数据,系统制作内容丰富,画面生动。
构建三维场景的主要步骤如下:
数据采集,包括从建筑图纸中获取外观尺寸数据、实地测量及采集照片。
使用 3ds max 进行实体仿真,包括建模、贴图、设置相机、布局灯光、渲染、烘焙、优化等工作。
场景的编辑与交互漫游,将场景文件导入场景编辑软件,通过 VR 交互设备实现场景漫游并保存漫游路径。
4、搭建 Ethernet 网及投影系统
左眼图像
右眼图像
投影机
投影机
起偏片
起偏片
环幕
通过调整几何校正、边缘融合、画面同步、立体显示等软件模块参数和相关硬件设备,实现多通道立体显示效果。
制作流程见图 5 所示。
图 5 制作流程
2.1、实体建模
本系统采用 3DS MAX 建模工具创建三维实体模型。
对于场景中规则模型,根据实物的尺寸绘制 2D 形状,然后拉伸(extrude)形成 3D 模型,最后应用 Edit Poly 修改器,根据实际情况进行面编辑;
对于曲面或弯道等不规则模型,先采用绘制 2D 形状,然后使用放样(Loft)路径。
如有建筑物的AutoCAD 电子图纸,将其导入 3DS MAX 中并形成建筑物的立面,从而减少建模的工作量。
2.2、纹理贴图、灯光设计
真实的材质贴图,合理的灯光布局能使场景充满生机,增加场景的气氛,使得立体模型更具真实感。
在复杂模型中,利用逼真的纹理可以提高模型的细节和真实感,却不增加三维几何造型的复杂度和模型多边形的数量。
模型制作的贴图照片来源于实物,使用 Photoshop 作适当处理。在 3DS MAX中,根据模型特征而采用相应的贴图坐标。
本场景包含室内、室外两个部分,采用目标聚光灯(target spot) 及目标平行光(target direct)模拟室外灯光,采用泛光灯、点光源及面光源模拟室内灯光环境。
展厅室内的贴图、照明效果见图 6 所示。
图 6 展厅室内照明效果
2.3、双通道交互漫游
本系统在虚拟环境漫游过程中采用基于键盘、鼠标、方向盘、数据手套等交互工具,大大增强了系统的沉浸感和交互的自然性,并且在虚拟环境中导航也十分便利。
漫游方式分为两种:
一种是固定路径的漫游,首先建立相机,调整并保存相机位置和姿态,然后编辑且保存相机漫游路径。为了多角度审视数字模型,需要创建多个相机;
另一种是用户自主漫游,利用交互设备,观察者在虚拟场景中可以自由地前进、后退,加速、减速,左右转弯等。
此外,系统支持平面导航图,实现导航游览,使观察者清楚了解自身所处的地理位置,平面导航图可以显示或隐藏。
该系统运行时,4 台投影机将徐悲鸿博物馆画面投影在大型环形屏幕上,参观者戴上立体眼镜就可从屏幕上看到立体影像,配合优美的音效,随着视角的变换,仿佛置身漫游于博物馆之中。
3、实验结果及进一步工作
本系统采用虚拟现实技术构建了一个博物馆的仿真场景,基于 PC 的双通道环幕 VR 环境可满足参观者对博物馆等复杂场景虚拟漫游的需要,使观察者产生强烈的沉浸感,取得了良好效果;
同时对正在实施的文物数字化支撑环境的研究具有一定借鉴作用。
本系统在保证场景画面质量的前提下,可以尝试更多的模型优化方法,如简单模型代替精细模型、分割物体等,从而减少场景的面片数量;
采用图像压缩率更高的格式,降低场景对 PC 物理内存及显存的要求。
调整灯光的角度、亮度以及阴影产生的方式,可进一步加强场景的真实感。
另外,在开发 5DT 数据手套、6DOF 位置跟踪器等交互设备接口方面需做进一步的研究工作。