機(jī)器人視覺系統(tǒng)分為哪幾種，主要包括哪些關(guān)鍵技術(shù)？

時(shí)間：2023-07-17

機(jī)器人視覺系統(tǒng)是指利用計(jì)算機(jī)實(shí)現(xiàn)人類視覺功能，即利用計(jì)算機(jī)實(shí)現(xiàn)對客觀三維世界的識別。70%以上的人類接收的信息來自視覺。人類視覺為人類提供了周圍環(huán)境 最詳細(xì)可靠的信息。

人類視覺的強(qiáng)大功能和完美的信息處理方法引起了智能研究人員的極大興趣。人們希望在生物視覺的基礎(chǔ)上研究機(jī)器人中使用的人工視覺系統(tǒng)，并希望機(jī)器人具有類似于人類感受環(huán)境的能力。機(jī)器人依靠各種傳感器來感知外部世界的信息。就像人類一樣，視覺系統(tǒng)為大多數(shù)機(jī)器人提供了機(jī)器人所需的外部階段 界信息。因此，視覺系統(tǒng)在機(jī)器人技術(shù)中起著重要的作用。

根據(jù)視覺傳感器的數(shù)量和特點(diǎn)，主流的移動(dòng)機(jī)器人視覺系統(tǒng)包括單目視覺、雙目立體視覺、多目視覺和全景視覺。

單目視覺，單目視覺系統(tǒng)只使用一個(gè)視覺傳感器。在成像過程中，單目視覺系統(tǒng)從三維客觀世界投影到ND圖像，從而失去了深度信息，這是這種視覺系統(tǒng)的主要缺點(diǎn)( 然而，由于結(jié)構(gòu)簡單、算法成熟、計(jì)算量小，單目視覺系統(tǒng)已廣泛應(yīng)用于自主移動(dòng)機(jī)器人，如目標(biāo)跟蹤、基于單目特征的室內(nèi)定位導(dǎo)航等。同時(shí)，單目視覺是其他類型視覺系統(tǒng)的基礎(chǔ)，如雙目三維視覺、多目視覺等，都是在單目視覺系統(tǒng)的基礎(chǔ)上，通過其他手段和措施來實(shí)現(xiàn)的。

雙眼三維視覺，雙眼視覺系統(tǒng)由兩個(gè)攝像頭組成，利用三角測量原理獲取場景的深度信息，可重建周圍場景的三維形狀和位置，類似于人眼的視覺功能，原理簡單。雙目 視覺系統(tǒng)需要準(zhǔn)確地了解兩個(gè)相機(jī)之間的空間位置關(guān)系，場景環(huán)境的3D信息需要兩個(gè) 只有從不同的角度拍攝同一場景的兩幅圖像，并進(jìn)行復(fù)雜的匹配，才能準(zhǔn)確獲得相機(jī) 三維視覺系統(tǒng)可以更準(zhǔn)確地恢復(fù)視覺場景的三維信息，廣泛應(yīng)用于移動(dòng)機(jī)器人定位導(dǎo)航、避障和地圖構(gòu)建。然而，立體視覺系統(tǒng)的難點(diǎn)在于對應(yīng)點(diǎn)匹配，這在很大程度上限制了立體視覺在機(jī)器人領(lǐng)域的應(yīng)用前景。

多目視覺系統(tǒng)，多目視覺系統(tǒng)采用三個(gè)或三個(gè)以上的攝像頭，多為三目視覺系統(tǒng)，主要用于解決三維視覺系統(tǒng)中匹配多義性的問題，提高匹配精度。莫拉維克最早研究多目視覺系統(tǒng)，他是“Stanford Cart“開發(fā)的視覺導(dǎo)航系統(tǒng)采用單攝像頭“滑動(dòng)三維視覺”，雅西達(dá)提出三維視覺系統(tǒng)解決相應(yīng)點(diǎn)匹配問題，真正突破三維視覺系統(tǒng)的局限性，指出三維視覺系統(tǒng)的邊界點(diǎn)，三元匹配精度較高，艾雅石提出了以多邊形近似起伏邊界段為特征的三目匹配算法，并應(yīng)用于移動(dòng)機(jī)器人，取得了良好的效果。三目視覺系統(tǒng)的優(yōu)點(diǎn)是充分利用第三臺相機(jī)的信息，減少錯(cuò)誤匹配，解決雙目視覺系統(tǒng)匹配的多義性，提高定位精度，但三目視覺系統(tǒng)應(yīng)合理放置三臺相機(jī)的相對位置，其結(jié)構(gòu)配置比雙目視覺系統(tǒng)更麻煩，而且匹配算法更復(fù)雜 消耗更多的時(shí)間，實(shí)時(shí)性更差。

全景視覺，全景視覺系統(tǒng)是一個(gè)多方向成像系統(tǒng)，具有較大的視野，可達(dá)到360度，這是其他傳統(tǒng)鏡頭無法比擬的。全景視覺系統(tǒng)可以通過圖像拼寫或折射光學(xué)元件來實(shí)現(xiàn)。圖像拼接方法使用單個(gè)或多個(gè)相機(jī)旋轉(zhuǎn)，大角度掃描場景，在不同方向獲取連續(xù)的多幀圖像，然后使用拼接技術(shù)獲得全景圖像。折射全景視覺系統(tǒng)由CCD相機(jī)和折射光學(xué)元件組成。利用反射鏡成像原理，可觀察360度場景，成像速度快，能滿足實(shí)時(shí)要求，具有非常重要的應(yīng)用前景，可應(yīng)用于機(jī)器人導(dǎo)航。本質(zhì)上，全景視覺系統(tǒng)也是一種單目視覺系統(tǒng)，無法獲得場景的深度信息。另一個(gè)特點(diǎn)是圖像分辨率低，圖像畸變大，影響圖像處理的穩(wěn)定性和精度。在圖像處理過程中，首先需要根據(jù)成像模型對畸變圖像進(jìn)行校正，這不僅會影響視覺系統(tǒng)的實(shí)時(shí)性，還會造成信息損失。此外，這種視覺系統(tǒng)對全景反射鏡的加工精度有很大的要求。如果雙曲反射鏡的精度不能滿足要求，理想模型的使用將對圖像校正有很大的偏差。

混合視覺系統(tǒng)和混合視覺系統(tǒng)吸收了各種視覺系統(tǒng)的優(yōu)點(diǎn)。復(fù)合視覺系統(tǒng)由兩個(gè)或兩個(gè)以上的視覺系統(tǒng)組成，主要采用單目視覺系統(tǒng)或雙目視覺系統(tǒng)，并配備其他視覺系統(tǒng)。全景視覺系統(tǒng)由球反射系統(tǒng)組成，全景視覺系統(tǒng)提供大視角環(huán)境信息、三維視覺系統(tǒng)和激光測距儀檢測障礙物，清華大學(xué)朱志剛使用攝像機(jī)開發(fā)多尺度視覺傳感系統(tǒng)POST，實(shí)現(xiàn)雙眼、全方位環(huán)視和時(shí)代全景成像，為機(jī)器人提供導(dǎo)航。全景視覺系統(tǒng)具有全景視覺系統(tǒng)視覺范圍大、雙目視覺系統(tǒng)精度高的優(yōu)點(diǎn)，但該系統(tǒng)配置復(fù)雜，成本高。

ps 圖靈課堂老師從近一百套最新一線互聯(lián)網(wǎng)公司面試題中精選而出，涵蓋Java架構(gòu)面試 所有技術(shù)棧，包括JVM，Mysql，并發(fā)，Spring，Redis，MQ，Zookeeper，Netty， Dubbo，Spring Boot，Spring Cloud，數(shù)據(jù)結(jié)構(gòu)與算法，設(shè)計(jì)模式等相關(guān)技術(shù)領(lǐng)域的大 廠面試題及詳解。 詳情咨詢客服獲取全套面經(jīng)試題。