隨著全球數(shù)字化進程加速演進,三維重建技術如同一座橋梁,連接著物理世界與虛擬世界的廣闊天地。何為三維重建?它是如何將紛繁復雜的現(xiàn)實世界,轉(zhuǎn)化為可漫游、可交互的數(shù)字空間?又都在哪些行業(yè)和場景中綻放出耀眼的光芒?
什么是三維重建?
從行業(yè)視角看三維重建
三維重建(3D Reconstruction)是一種利用計算機技術,從二維圖像或其他數(shù)據(jù)源中生成三維模型的過程。VR需要構建虛擬的數(shù)字空間,而三維重建技術正是對空間最完整、最深度信息采集的技術方案。
如視的三維重建探索
如視當下正在做的三維重建,是采集真實的空間深度信息(包括場景中物體的形狀、大小以及它們之間的空間位置關系等),結合RGB相機(一種色彩還原度高、能夠采集詳細光譜信息的彩色相機)采集的圖像信息,經(jīng)由算法融合后構建1:1真實還原的三維模型的結果,如視軟硬一體的三維重建解決方案就是在此基礎上形成的。
由此得到的三維模型中,會包含豐富的語義信息,我們將之稱為潛藏數(shù)據(jù)。而如視將通過深度學習算法,進一步挖掘采集生成的VR產(chǎn)物,從中獲取包括空間結構信息、文字信息、物體信息、材質(zhì)信息、光照信息等在內(nèi)的潛藏數(shù)據(jù)并應用。
與三維重建共生共榮
三維重建是如視的核心技術能力,基于線下采集空間數(shù)據(jù),如視通過自動建模、智能空洞填補、全自動數(shù)據(jù)提取、HDR 優(yōu)化等三維重建技術將全部數(shù)據(jù)及圖片紋理精準映射到三維模型上,在數(shù)字世界還原真實的三維空間。
作為數(shù)字空間綜合解決方案引領者,如視自誕生起便深耕三維重建領域, 多年來,如視為全行業(yè)提供三維空間的采集、重建、展示能力,打造低成本、高效、有針對性的 VR 空間應用解決方案。
如視通過自研,實現(xiàn)了軟硬一體的三維重建全流程解決方案。
多樣的空間數(shù)據(jù)采集產(chǎn)品
如視產(chǎn)品矩陣已經(jīng)完全覆蓋了超大、大、中、小,空間、物體全場景的三維重建,能夠提供高效、低成本、穩(wěn)定的空間數(shù)據(jù)采集方案,滿足千行百業(yè)的三維重建需求。
強大的算法能力
如視通過強大的算法能力,打造自動化處理全流程,讓整個三維重建過程無需任何人工干預,為客戶提供高效的三維重建能力。同時,通過如視特有的基于數(shù)字空間的AI能力,如視為用戶提供自動平面圖、空間物體識別等多樣性的衍生產(chǎn)物。
豐富的產(chǎn)物數(shù)據(jù)編輯系統(tǒng)
為滿足用戶的多元化、個性化需求,如視打造了一套功能豐富強大的編輯系統(tǒng),讓客戶可以對產(chǎn)物數(shù)據(jù)進行加工編輯。
靈活的場景應用解決方案
如視構建了一套跨越多行業(yè)、多業(yè)態(tài)的數(shù)字空間綜合解決方案,全面響應并賦能千行百業(yè)的數(shù)字空間應用需求。同時如視也提供了多樣靈活的部署方案,全方位支持客戶的多元化應用場景。
如何進行三維重建?
三維重建步驟
一般而言,三維重建需要經(jīng)過圖像生成深度圖、深度圖生成點云、點云處理、網(wǎng)格重建、網(wǎng)格處理、紋理映射等步驟。
圖像生成深度圖
三維重建的第一步,是從知道每個點到相機的距離開始。而深度圖像就是一張?zhí)厥獾恼掌?,上面每個點的顏色深淺,代表了它在現(xiàn)實中的位置到觀察點所在垂直平面的真實距離。
深度圖生成點云
點云是空間中代表3D形狀或?qū)ο蟮臄?shù)據(jù)點集合,數(shù)據(jù)集中的每個點代表一組X、Y、Z幾何坐標。在這一步中,電腦會根據(jù)深度圖像中的距離信息畫出許多“小點點(點云)”,它們代表了空間內(nèi)所有3D形狀或?qū)ο蟮奈恢谩?/p>
點云處理
之后,我們需要對點云數(shù)據(jù)進行一系列的處理和優(yōu)化,提高后續(xù)三維重建的準確性和效率,如去除點云中的噪聲、離群點等無用或干擾數(shù)據(jù),提高數(shù)據(jù)的純凈度和準確性等。
網(wǎng)格重建
網(wǎng)格是點云的一種簡化的表達形式,在三維重建中表示多面體形狀的頂點與多邊形的集合,這些網(wǎng)格通常由三角形、四邊形或者其它的簡單凸多邊形組成。網(wǎng)格重建,就是要把剛才獲取的“小點點”連接起來,形成“小面片(網(wǎng)格)”,這些面片(網(wǎng)格)組合起來就像是房間或者物體的外殼,讓房間或物體看起來更有立體感。
網(wǎng)格處理
為了進一步提高模型的質(zhì)量,接下來需要對初步生成的網(wǎng)格模型進行優(yōu)化和調(diào)整,比如去除網(wǎng)格中的尖銳邊緣和不平整表面,讓模型更加平滑和自然等。
紋理映射
紋理是一張圖片,可以根據(jù)特征映射貼在網(wǎng)格表面上。通過紋理映射給網(wǎng)格加上紋理后,諸如房間的墻紙、地板的顏色等內(nèi)容就會顯現(xiàn)出來,模型就會變得更加真實。
3D模型
網(wǎng)格和紋理全部組合在一起,就得到了一個完整的三維模型,它將支持我們的隨意旋轉(zhuǎn)、放大、縮小等。
如視的創(chuàng)新與優(yōu)化
如視的三維重建,與一般的三維重建步驟差別不大,但在深度圖和點云的生成上有兩種方式。
圖像生成深度圖,深度圖轉(zhuǎn)換成點云
人類通過兩個眼睛的視差來實現(xiàn)對距離的估算,但事實上我們用單個眼睛也可以大致估算出距離,這是因為我們的大腦已經(jīng)記住了一些規(guī)律,比如近處的遮擋遠處、近處的體積看似大于遠處等。
利用這一原理,如視通過積累的數(shù)百萬專業(yè)設備掃描的三維數(shù)據(jù)集,以全景圖為輸入、深度信息為標注(答案)訓練出"單目圖像深度估算"Al模型——Cyclops,實現(xiàn)無需深度傳感器、僅采集空間圖像即可實現(xiàn)三維重建。Cyclops的誕生,推動了如視輕量級和消費級VR采集產(chǎn)品的誕生,讓VR 拍攝進入大眾的日常生活。
借助累積的百萬套真實空間數(shù)據(jù),2019年11月Cyclops的推測誤差率突破性地達到4.23%,超越了學界水平,隨著采集矩陣的完善,到2023年4月,Cyclops算法誤差進一步降至1.35%。
傳感器(激光掃描儀)直接采集深度圖/點云
我們向某物體發(fā)射一束光,并通過接收裝置測量光線反射或散射回來的時間差,就可以直接計算出物體離我們有多遠,得到物體的深度信息。如果再配上一個角度測量裝置,測量光線發(fā)射的角度,結合已知的距離信息,就能直接得到該物體的空間坐標。而當我們利用傳感器,同時向某場景發(fā)射無數(shù)道光,就能得到場景中各點的空間信息,也就是它們離傳感器有多遠、具體在哪個角度等,并據(jù)此直接繪制出精準的深度圖和點云。
這種采集方式在空間數(shù)據(jù)的精準性、實時性、便捷性、抗干擾性等方面具備顯著優(yōu)勢,如視旗下的專業(yè)級激光VR掃描儀“伽羅華(Galois)”,就利用了這一原理。伽羅華在采集過程中顯示出卓越的環(huán)境適應性,并能夠精確捕捉空間內(nèi)的每一處細節(jié),讓大空間和超大空間三維重建變得輕松與高效,為專業(yè)人士提供無以倫比的便利體驗。
三維重建質(zhì)量影響因素剖析
三維重建的質(zhì)量受到多種因素的影響,包括深度數(shù)據(jù)質(zhì)量、點位拼接、操作規(guī)范、語義信息等。
深度數(shù)據(jù)質(zhì)量
深度數(shù)據(jù)是三維重建的基石,其質(zhì)量直接決定了三維模型的準確性和精細度。
如視目前已有的兩款專業(yè)級空間采集產(chǎn)品——激光VR掃描儀“伽羅華”和手持實景掃描儀“龐加萊”——都采用激光雷達傳感器,其產(chǎn)物質(zhì)量受傳感器精度影響;此外,龐加萊因為采用了SLAM技術(同時定位與地圖構建技術,一種通過傳感器數(shù)據(jù)實時估計自身位置并構建環(huán)境地圖的技術),其質(zhì)量還與其使用的IMU(慣性測量單元,一種集成了多種慣性傳感器的裝置,用于測量和跟蹤物體的加速度和角速度)、相機等質(zhì)量有關;而輕量級產(chǎn)品全景相機、Realsee G1智能云臺和消費級產(chǎn)品如視VR APP,其產(chǎn)物質(zhì)量與深度推測質(zhì)量相關,目前誤差為1.35%。
點位拼接
定點式掃描設備點位拼接是利用多點位采集到的彩色圖像和深度信息,通過提取特征尋找相似的匹配點位,并計算相對位置和姿態(tài),最終實現(xiàn)多個點位之間的精確拼接,簡單來說就是將多個點位采集到的深度數(shù)據(jù)進行整合。
操作規(guī)范
包括掃描密度、手動拼接、特征工具等在內(nèi)的人工操作規(guī)范與否,會極大程度上影響三維重建的產(chǎn)物精度,作業(yè)人員需要按照規(guī)范操作步驟,合理設置點位進行采集。
語義信息
語義信息是指對三維模型中各元素(如物體、場景等)的識別和標注,在三維重建過程中引入一些標注的或自動識別的語義信息,不僅可以提高模型的語義豐富度,還有助于提高模型的準確性和實用性。
三維重建用在哪里?
三維重建的無限可能
三維重建技術廣泛應用于城市規(guī)劃、影視制作、游戲開發(fā)、考古研究、文物保護、醫(yī)療影像、虛擬現(xiàn)實(VR)、增強現(xiàn)實(AR)等諸多領域。隨著基于深度學習的三維重建方法突破傳統(tǒng)界限,開始處理更加復雜的場景重建任務,三維重建技術應用的廣度和深度將不斷拓展。
如視的三維重建產(chǎn)物
如視的三維重建技術,不僅能夠精準捕捉并還原真實世界的每一個細節(jié),還能將這些數(shù)據(jù)轉(zhuǎn)化為豐富多樣的產(chǎn)物,包括全景圖、點云、模型等各個格式的導出,以及視頻、截圖等營銷物料的下載,滿足不同用戶群體的多元應用需求。
以三維重建推動產(chǎn)業(yè)進化
如視通過覆蓋了超大、大、中、小空間、物體等多行業(yè)、全場景的三維重建能力,為企業(yè)的線上營銷、空間運維、數(shù)字化管理等提供有效助力。目前,如視的三維重建技術已經(jīng)成功滲透并深度服務工業(yè)園區(qū)、商業(yè)零售、文博會展、酒旅餐飲等九大行業(yè),應用范圍覆蓋營銷推廣、內(nèi)部管理、人員引導、模擬培訓等諸多場景,引領千行百業(yè)的數(shù)字化轉(zhuǎn)型。
結尾
三維重建技術作為數(shù)字化轉(zhuǎn)型的重要工具,正以前所未有的速度重塑著人類的生活方式。而如視正在以技術創(chuàng)新為驅(qū)動,以用戶需求為導向,持續(xù)加速三維重建技術迭代和產(chǎn)品升級,為千行百業(yè)提供更加高效、精準的三維重建解決方案。
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據(jù)。
關鍵詞:
推薦閱讀
關于我們 廣告服務 手機版 投訴文章:435 226 40@qq.com
Copyright (C) 1999-2020 www.w4vfr.cn 愛好者日報網(wǎng) 版權所有 聯(lián)系網(wǎng)站:435 226 40@qq.com