3Д визија је мултидисциплинарна област која укључује компјутерску графику, компјутерски вид и вештачку интелигенцију. Циљ му је да омогући машинама да разумеју и обрађују информације у тродимензионалном-простору, постижући перцепцију дубине, препознавање и разумевање објеката и сцена.
Главни задаци
3Д реконструкција
Процена дубине 3Д сцена или дигитално узорковање површина објеката, као и обрада и приказ 3Д података; монокуларна реконструкција, бинокуларна реконструкција, структурисана реконструкција-базирана на светлости, ласерска-реконструкција; 3Д реконструкција-великих размера, мобилна 3Д реконструкција.
Посе Естиматион
Израчунавање положаја и оријентације камера или објеката у тродимензионалном физичком простору-и праћење-у реалном времену.
3Д разумевање
Детекција, препознавање и проналажење објеката, као и сегментација и семантичко означавање сцена или објеката.
Принципи рада
3Д визиона слика је једна од најважнијих метода за перцепцију информација код индустријских робота и може се поделити на оптичке и не-оптичке методе снимања. Тренутно се највише користе оптичке методе.
Метод--времена лета (ТОФ).
Овај метод израчунава растојање до објекта мерењем временске разлике између емитовања светлости и пријема. Узимајући ТОФ камеру као пример, сваки пиксел користи временску разлику лета светлости да би добио дубину објекта. У класичним методама мерења, детекторски систем почиње да мери време када емитује светлосни импулс, чува време повратног пута- када прими циљни светлосни ехо и процењује циљну удаљеност према формули.
Дели се на директни ТОФ (ДТОФ) и индиректни ТОФ (И-ТОФ). ДТОФ се обично користи у системима са једном{2}}тачком, а постизање 3Д слике -широко подручја често захтева технологију скенирања; И-ТОФ индиректно екстраполира време повратног путовања из временски-ограничених мерења интензитета светлости, елиминишући потребу за прецизним мерењем времена, и тренутно је комерцијализовано решење за електронске и оптичке миксере засноване на ТОФ камерама. ТОФ слика се може користити за велико видно поље, велике-раздаљине, ниске{9}}прецизне и јефтине-прикупљање 3Д слике, а користи се за перцепцију животне средине у интелигентним беспилотним системима (као што су роботи, беспилотна возила, дронови итд.).
3Д пројекција структурираног светла
Структурисана пројекција светлости 3Д сликање је тренутно главни метод за перцепцију 3Д вида код робота. Пројектор пројектује специфичан структурирани образац осветљења на циљни објекат, као што су пруге или обрасци Греј кода, а камера снима слику модулисану метом. Услед валовитости површине објекта, структурирани светлосни образац се деформише на површини објекта. Обрадом слика и коришћењем визуелних модела за упоређивање образаца пре и после деформације и анализом изобличења шаблона, могу се израчунати тродимензионалне информације о координатама сваке тачке на површини циљаног објекта.
У апликацијама роботског система за руке{0}}ока, за сценарије где није потребна висока тачност 3Д мерења (као што је палетизација, депалетизација и 3Д хватање), метод пројектовања псеудо-насумичних шара за добијање циљних 3Д информација је прилично популаран. Овај метод се обично користи у индустријској инспекцији и 3Д моделирању и може брзо добити 3Д податке о површини објекта. Структурирани систем за снимање светла састоји се од неколико пројектора и камера. Уобичајени структурни облици укључују: један пројектор-једна камера, један пројектор-двострука камера, један пројектор-више камера, једна камера-двоструки пројектори и једна камера-више пројектора.
Основни принцип рада 3Д снимања структурисане пројекције светлости је следећи: пројектор пројектује специфичан структурирани светлосни образац осветљења на циљни објекат, камера снима слику модулисану метом, а затим се 3Д информације о циљном објекту добијају кроз обраду слике и визуелне моделе. Уобичајени типови пројектора укључују: дисплеј са течним кристалима (ЛЦД), пројекцију дигиталне модулације светлости (ДЛП: као што су дигитални микромиррор уређаји (ДМД)) и директну пројекцију ласерског ЛЕД узорка.
На основу броја структурираних пројекција светлости, 3Д слике структуриране пројекције светлости могу се поделити на 3Д методе са једним-снимком и 3Д методе са више- снимака. Једноструко-структурирано светло углавном користи кодирање просторног мултиплексирања и кодирање мултиплексирања фреквенције. Уобичајени облици кодирања укључују: кодирање боја, индексирање сивих тонова, кодирање геометријских облика и насумичне шаре шара. Тренутно, у апликацијама роботског система за руке{9}}оке, за сценарије где није потребна висока тачност 3Д мерења, као што су палетизација, депалетизација и 3Д хватање, широко се користи метод пројектовања псеудо-насумичних шара за добијање циљних 3Д информација.
Више{0}}3Д методе за више снимака углавном користе временско{2}}кодирање. Уобичајени облици кодирања шаблона обухватају: бинарно кодирање, више-фазно-кодирање са померањем фреквенција и хибридне методе кодирања (као што су Греј код и маргине са померањем фазе{6}}). Основни принцип структурираног светлосног 3Д снимања приказан је на слици испод. Структурирани светлосни образац се генерише помоћу рачунара или специјалног оптичког уређаја, а затим се пројектује на површину објекта који се тестира помоћу оптичког пројекционог система. Уређај за аквизицију слике (као што је ЦЦД или ЦМОС камера) се користи за снимање структуриране светлосне слике модулиране и деформисане површином објекта. Алгоритми за обраду слике се затим користе за израчунавање кореспонденције између сваког пиксела на слици и тачака на контури објекта. Коначно, тродимензионалне информације о контури објекта се израчунавају коришћењем модела структуре система и његове технологије калибрације. У практичним применама, обично се користе пројекција Грејовог кода, пројекција руба са синусоидалним{15}}померањем фазе или хибридна 3Д технологија са померањем Греј кода и синусоидалне фазе{16}}.
За грубе површине, структурирано светло се може директно пројектовати на површину објекта ради визуелног мерења слике; међутим, за 3Д мерење високо рефлектујућих глатких површина и зрцалних објеката, структурирана пројекција светлости се не може директно пројектовати на површину која се тестира, а 3Д мерење захтева употребу техника зрцалне рефлексије.
У овој шеми, ресице се не пројектују директно на контуру објекта који се тестира, већ на екран за распршивање, или се екран са течним кристалима (ЛЦД) користи за директно приказивање реса. Камера добија информације о ивицама које су модулисане променама закривљености светле површине кроз путању рефлектоване светлости, а затим израчунава тродимензионалну морфологију контуре-.
Скенирање 3Д слике
Методе скенирања 3Д слике могу се поделити на скенирање опсега, активну триангулацију и хроматске конфокалне методе. Скенирање опсега користи колимирани светлосни сноп за скенирање целе површине циља за 3Д мерење. Типичне методе скенирања обухватају: методе за једно-време{5}}време-лета, као што је модулација фреквенције континуираног таласа (ФМ-ЦВ) и пулсно одређивање опсега (ЛиДАР); интерферометрија ласерског расејања, као што су интерферометри засновани на интерференцији са више-таласних дужина, холографским сметњама, интерференцијама беле светлости и принципима интерференције тачака; и конфокалне методе, као што су хроматско конфокално и аутофокусирање.
У 3Д методама скенирања у једној{0}}тачки у распону од једне тачке, метода-времена{3}}од-једна тачке је погодна за скенирање на велике-раздаљине, али је тачност мерења релативно ниска, углавном у милиметарском опсегу. Друге-методе скенирања у једној тачки укључују ласерску интерферометрију у једној-точки, конфокалну микроскопију и активну ласерску триангулацију у једној-тачки. Ове методе нуде високу тачност мерења, али прва захтева контролисано окружење. Линијско скенирање нуди умерену прецизност и високу ефикасност. Активна ласерска триангулација и хроматска конфокална микроскопија су посебно погодне за 3Д мерење на крајњем ефектору роботске руке. Активна триангулација се заснива на принципу триангулације, користећи колимирани сноп или један или више планарних зрака за скенирање циљне површине за 3Д мерење.
Светлосни сноп се обично добија на следеће начине: ласерска колимација, ширење призматичног снопа цилиндричне или квадратне површине, некохерентно светло (као што је бела светлост, ЛЕД извор светлости) пројектовано кроз мале рупе, прорезе (решетке) или кохерентна дифракција светлости. Активна триангулација се може поделити у три типа: једно-скенирање са једном тачком, једно-скенирање у једној линији и више-скенирање. Тренутно, већина комерцијално доступних производа за крајње ефекторе роботске руке су скенери са једном-тачком и једном{7}}линијом.
У више{0}} методама скенирања, поуздана идентификација рубних бројева представља изазов. Да би се тачно идентификовали бројеви рубова, два сета окомитих светлосних равни се обично снимају великом брзином наизменично. Ово такође омогућава скенирање „Флиинг Триангулатион“, чије је скенирање и процес 3Д реконструкције приказан на слици испод. Више{5}}пројекција са више линија и слика са једним-бљеском дају оскудан 3Д приказ. Неколико секвенци 3Д приказа се генерише скенирањем уздужне и попречне пројекције ивица, а затим се 3Д модел површине високе{10}}резолуције, комплетан и густи модел површине генерише регистрацијом 3Д слике.
Чини се да је хроматска конфокална микроскопија способна за скенирање и мерење грубих и глатких непрозирних и провидних објеката, као што су рефлектујуће површине и провидне стаклене површине, и тренутно се широко користи у областима као што је 3Д инспекција маски за мобилне телефоне. Хроматско конфокално скенирање има три типа: једно-једнодимензионално скенирање мерења апсолутне удаљености-једнодимензионално, скенирање низа са више- тачака и континуирано линијско скенирање. На слици испод приказани су примери мерења апсолутног растојања и континуираног скенирања линија. Континуирано линијско скенирање је такође врста скенирања низа, али са већим и гушћим низом тачака.
Стерео Висион 3Д Имагинг
Стерео визија се генерално односи на реконструкцију 3Д структуре или информација о дубини циљаног објекта стицањем две или више слика из различитих тачака гледишта. Визуелни знаци перцепције дубине могу се поделити на очне знакове и бинокуларне знакове (бинокуларни диспаритет). Тренутно, 3Д стерео вид се може постићи монокуларним видом, бинокуларним видом, више-видом и 3Д снимањем светлосног поља (електронска сложена камера за око или низ камера). Знакови за перцепцију дубине монокуларног вида обично укључују: перспективу, разлике у жижној даљини, више-слике, оклузију, сенке, паралаксу кретања итд.
У роботском виду, то се такође може постићи коришћењем огледала и других облика-из-Кс метода. Визуелни знаци перцепције дубине бинокуларног вида укључују: положај конвергенције ока и бинокуларни диспаритет. У машинском виду, две камере се користе за добијање две слике из тачке гледишта исте циљне сцене са две тачке гледишта, а затим се израчунава диспаритет одговарајућих тачака у две слике гледишта да би се добила информација о 3Д дубини циљне сцене. Типичан процес израчунавања бинокуларног стерео вида укључује следећа четири корака: корекцију изобличења слике, исправљање пара стерео слике, регистрацију слике и израчунавање мапе диспаритета триангулационе репројекције.
Више{0}}видеона слика или више{1}}стерео слика са више приказа користи једну или више камера за добијање више слика исте циљне сцене из више тачака гледишта да би се реконструисале тродимензионалне информације о циљној сцени.
Стерео слика са више-приказа се углавном користи у следећим сценаријима: коришћење више камера са различитих тачака гледишта за добијање више слика исте циљне сцене, а затим коришћење стерео реконструкције{1}}засноване на функцијама и других алгоритама за добијање информација о дубини сцене и просторној структури; користећи технику структуре-из-покрета (СФМ), користећи исту камеру са непромењеним унутрашњим параметрима, за добијање више слика из различитих тачака гледишта да би се реконструисале тродимензионалне-информације о циљној сцени. Ова технологија се обично користи за праћење великог броја контролних тачака у циљној сцени, континуирано враћајући 3Д структурне информације сцене, као и положај и положај камере. Снимање светлосног поља разликује се од традиционалних принципа снимања камером. Традиционалне камере формирају 2Д слику директно на равни слике након што светлост прође кроз сочиво.
Камере светлосног поља додају низ микро сочива испред равни сензора. Светлост која пада кроз главно сочиво поново пролази кроз свако микро сочиво и прима је фотоосетљивим низом, чиме се добијају информације о правцу и положају светлосних зрака. Ово омогућава да се резултати сликања касније обрађују, постижући ефекат „прво снимај, фокусирај се касније“ и омогућавајући опоравак тродимензионалне структуре-призора помоћу ових информација. У областима као што су виртуелна реалност и проширена стварност, технологија снимања светлосног поља помаже у пружању реалистичнијег визуелног искуства и омогућава прецизнију тродимензионалну-перцепцију и интеракцију са сценом.
Принцип 3Д снимања светлосног поља се структурно разликује од принципа снимања традиционалних ЦЦД и ЦМОС камера. Традиционалне камере снимају светлост директно на раван слике након што прође кроз сочиво, генерално стварајући 2Д слику. Камере светлосног поља додају низ микросочива испред равни сензора, узрокујући да светлост која пада кроз главно сочиво поново прође кроз свако микросочиво и буде примљена фотоосетљивим низом, чиме се добијају информације о правцу и положају светлосних зрака. Ово омогућава накнадну-обраду резултата слике, постижући ефекат „прво пуцај, па фокусирај касније“.