Proiectarea unui sistem Time of Flight

Acesta este primul articol din seria noastră de articole despre tehnologia ToF (Time of Flight), care va oferi o prezentare generală a tehnologiei sistemelor de camere CMOS ToF cu undă continuă (CW) și a avantajelor sale față de soluțiile tradiționale de imagistică 3D pentru aplicațiile de vizionare artificială. Articolele ulterioare vor aprofunda unele dintre componentele la nivel de sistem prezentate în acest articol, inclusiv subsistemul de iluminare, optica, managementul consumului de putere și procesarea în profunzime.

Introducere

Multe aplicații de viziune automată necesită în prezent imagini de adâncime 3D de înaltă rezoluție pentru a înlocui sau a spori imagistica 2D standard. Aceste soluții se bazează pe o cameră 3D pentru a furniza informații de adâncime fiabile care să garanteze siguranța, în special atunci când mașinile funcționează în imediata apropiere a oamenilor. De asemenea, camerele trebuie să furnizeze informații fiabile privind adâncimea în timp ce operează în medii provocatoare, cum ar fi în spații mari cu suprafețe foarte reflectorizante și în prezența altor obiecte în mișcare. Multe produse de până acum au folosit soluții de tip telemetru de rezoluție redusă pentru a furniza informații de adâncime cu scopul de a spori imagistica 2D. Totuși, această abordare are multe limitări. Pentru aplicațiile care beneficiază de informații de adâncime 3D cu rezoluție mai mare, camerele ToF CW CMOS oferă cele mai performante soluții de pe piață. Unele dintre caracteristicile sistemului permise de tehnologia senzorilor ToF CW de înaltă rezoluție sunt descrise mai detaliat în tabelul 1. Aceste caracteristici de sistem se aplică, de asemenea, în cazuri de utilizare pentru consumatori, cum ar fi bokeh-ul video (n.red.: ‘Bokeh’ reprezintă capacitatea de a scoate din aria de focusare sau de a “blura” părți ale fotografiei redată de lentila aparatului foto), autentificarea facială și aplicațiile de măsurare, precum și în cazuri de utilizare în domeniul auto cum ar fi monitorizarea atenției șoferului și configurarea automată a habitaclului.

Caracteristica sistemului	Activatori
Precizia și acuratețea adâncimii	• Frecvența de modulație • Scheme de modulare și procesare a profunzimii
Gama dinamică	• Zgomotul de citire • Rata de cadre brute
Ușurința în utilizare	• Procedura de calibrare • Compensarea temperaturii • Monitorizarea siguranței oculare
Operare în aer liber	• Sensibilitate la 940 nm • Puterea și eficiența iluminării
Fuziune 2D/3D	• Dimensiunea pixelilor • Imagini IR de adâncime și 2D
Operare multisistem	• Eliminarea luminii de interferență la nivel de pixel • Sincronizarea camerei

Tabelul 1: Caracteristicile sistemului Time of Flight cu undă continuă

Prezentare generală a camerei Time of Flight CMOS cu undă continuă

Figura 1: Prezentare generală a tehnologiei senzorilor ToF (Time of Flight) cu undă continuă.

O cameră de adâncime este o cameră în care fiecare pixel afișează distanța dintre cameră și scenă. O tehnică de măsurare a adâncimii constă în calcularea timpului necesar pentru ca lumina să se deplaseze de la o sursă de lumină de pe cameră la o suprafață reflectorizantă și înapoi la cameră. Acest timp de deplasare este denumit în mod obișnuit Time of Flight (ToF).

O cameră ToF este compusă din mai multe elemente (vezi figura 1), inclusiv:

o sursă de lumină – cum ar fi un laser cu emisie de suprafață cu cavitate verticală (VCSEL) sau o diodă laser cu emisie de suprafață – care emite lumină în domeniul infraroșu apropiat. Cele mai frecvent utilizate lungimi de undă sunt 850 nm și 940 nm. Sursa de lumină este, de obicei, o sursă difuză (iluminare prin inundare) care emite un fascicul de lumină cu o anumită divergență (cunoscută și sub numele de câmp de iluminare sau FOI) pentru a ilumina scena din fața camerei.
un driver laser care modulează intensitatea luminii emise de sursa de lumină.
un senzor cu o matrice de pixeli care colectează lumina reflectată de la scenă și emite valori pentru fiecare pixel.
o lentilă care focalizează lumina de întoarcere pe rețeaua de senzori.
un filtru trece-bandă amplasat împreună cu obiectivul care filtrează lumina în afara unei lățimi de bandă înguste în jurul lungimii de undă a sursei de lumină.
un algoritm de procesare care convertește cadrele brute de ieșire de la senzor în imagini de adâncime sau în nori de puncte.

Într-o cameră ToF se pot utiliza mai multe abordări pentru a modula lumina. O abordare simplă constă în utilizarea unei modulații cu undă continuă – de exemplu, o modulație cu undă pătrată cu un ciclu de funcționare de 50%. În practică, forma de undă a laserului este rareori o undă pătrată perfectă și poate fi mai apropiată de o undă sinusoidală. O formă de undă pătrată a laserului produce un raport semnal-zgomot mai bun pentru o anumită putere optică, dar introduce, de asemenea, erori de neliniaritate de adâncime datorită prezenței armonicilor de înaltă frecvență.

O cameră CW ToF măsoară diferența de timp t_d dintre semnalul emis și semnalul de întoarcere prin estimarea defazajului ϕ = 2πf t_d dintre fundamentalele celor două semnale. Adâncimea poate fi estimată din decalajul de fază (ϕ) și viteza luminii (c) folosind ecuația 1, unde f_mod este frecvența de modulație.

Un circuit de generare a ceasurilor din senzor controlează ceasurile complementare ale pixelilor care controlează acumularea de sarcini foto în cele două elemente de stocare a sarcinilor (Tap A și Tap B), precum și semnalul de modulare a laserului către driverul laser. Faza luminii modulate care revine poate fi măsurată în raport cu faza ceasurilor de pixel (vezi partea dreaptă a figurii 1). Sarcina diferențială dintre Tap A și Tap B în pixel este proporțională cu intensitatea luminii modulate de întoarcere și cu faza luminii modulate de întoarcere în raport cu ceasul pixelului.

Utilizând principiile detecției homodyne, se efectuează o măsurătoare cu faze relative multiple între ceasul pixelului și semnalul de modulație a laserului. Aceste măsurători sunt combinate pentru a determina faza fundamentalei în semnalul de lumină modulată de întoarcere. Cunoașterea acestei faze permite calcularea timpului necesar pentru ca lumina să călătorească de la sursa de lumină la obiectul observat și înapoi la pixelul senzorului.

Avantajele frecvențelor înalte de modulație

Figura 2: Efectul erorii de fază asupra estimării distanței.

În practică, există anomalii, cum ar fi zgomotul de împușcare a fotonilor, zgomotul circuitului de citire și interferența multipath care pot cauza erori în măsurarea fazei. O frecvență de modulație ridicată limitează impactul acestor erori asupra estimării adâncimii.

Acest lucru este ușor de înțeles luând un exemplu simplu în care există o eroare de fază ϵ_ϕ – adică faza măsurată de senzor este ϕ = ϕ + ϵ_ϕ. Eroarea de adâncime este dată de ecuația 2.

Prin urmare, eroarea de adâncime este invers proporțională cu frecvența de modulație, f_mod. Acest lucru este ilustrat grafic în figura 2.

Această formulă simplă explică în mare parte de ce camerele ToF cu frecvență de modulație înaltă au un zgomot de adâncime mai mic și erori de adâncime mai mici decât camerele ToF cu frecvență de modulație mai mică.

Figura 3: Desfășurarea de fază cu frecvențe multiple.

Un dezavantaj al utilizării unei frecvențe de modulație înalte este că întoarcerea fazei se face mai rapid, ceea ce înseamnă că intervalul care poate fi măsurat fără ambiguitate este mai scurt. Modalitatea obișnuită de a ocoli această limitare este utilizarea unor frecvențe de modulație multiple care se “întorc” la viteze diferite. Cea mai joasă frecvență de modulație oferă o plajă mare, fără ambiguitate, dar cu erori de adâncime mai mari (zgomot, interferențe multipath etc.), în timp ce frecvențele de modulație mai înalte sunt utilizate în tandem pentru a reduce erorile de adâncime. Un exemplu al acestei scheme cu trei frecvențe de modulație diferite este prezentat în figura 3. Estimarea finală a adâncimii este calculată prin ponderarea estimărilor de fază desfășurată pentru diferitele frecvențe de modulație, cu ponderi mai mari atribuite frecvențelor de modulație mai înalte.

În cazul în care ponderile pentru fiecare frecvență sunt alese în mod optim, zgomotul de adâncime este invers proporțional cu valoarea medie pătratică (rms) a frecvențelor de modulație alese în sistem. Pentru un buget de zgomot de adâncime constant, creșterea frecvențelor de modulație permite reducerea timpului de integrare sau a puterii de iluminare.

Alte aspecte critice ale sistemului cu privire la performanță

Există numeroase caracteristici de sistem de care trebuie să se țină seama atunci când se dezvoltă o cameră ToF de înaltă performanță, unele dintre acestea fiind abordate pe scurt aici.

Senzorul de imagine

Senzorul de imagine este o componentă cheie a unei camere ToF. Efectele celor mai multe probleme de estimare a adâncimii (de exemplu, distorsiunea, zgomotul de adâncime și artefactele multipath) sunt reduse atunci când crește frecvența medie de modulație a sistemului. Prin urmare, este important ca senzorul să aibă un contrast de demodulare ridicat (capacitatea de a separa fotoelectronii între Tap A și Tap B) la o frecvență de modulație ridicată (sute de MHz). De asemenea, senzorul trebuie să aibă o eficiență cuantică (QE) ridicată în lungimile de undă din infraroșu apropiat (de exemplu, 850 nm și 940 nm), astfel încât să fie necesară o putere optică mai mică pentru a genera fotoelectroni în pixel. În sfârșit, un zgomot de citire redus ajută la gama dinamică a camerei, permițând detectarea semnalelor cu randament scăzut (obiecte îndepărtate sau cu reflexivitate redusă).

Iluminare

Driverul laser modulează sursa de lumină (de exemplu, VCSEL) la o frecvență înaltă de modulație. Pentru a maximiza cantitatea de semnal util la nivelul pixelului pentru o anumită putere optică, forma de undă optică trebuie să aibă timpi de creștere și scădere rapizi, cu muchii clare. Combinația dintre laser, driverul de laser și dispunerea PCB în subsistemul de iluminare sunt esențiale pentru a obține acest lucru. De asemenea, este necesară o anumită calificare pentru a găsi setările optime ale puterii optice și ale ciclului de funcționare pentru a maximiza amplitudinea fundamentalei în transformata Fourier a formei de undă de modulație. În fine, puterea optică trebuie, de asemenea, să fie furnizată într-un mod sigur, cu unele mecanisme de siguranță integrate la nivel de driver laser și la nivel de sistem pentru a se asigura că limitele de siguranță oculară Clasă 1 sunt respectate în orice moment.

Optica

Optica joacă un rol esențial în camerele ToF. Acestea au anumite caracteristici distincte care determină cerințe optice speciale. În primul rând, câmpul de iluminare al sursei de lumină trebuie să se potrivească cu câmpul de vizualizare al obiectivului pentru o eficiență optimă. De asemenea, este important ca obiectivul în sine să aibă o deschidere mare (f/# scăzut) pentru o mai bună eficiență a colectării luminii. Aperturile mari pot duce la alte compromisuri în ceea ce privește vignetarea, adâncimea mică a câmpului și complexitatea proiectării obiectivelor. Un obiectiv cu CRA (chief ray angle) redus poate contribui, de asemenea, la reducerea lățimii de bandă a filtrului trece-bandă, ceea ce îmbunătățește respingerea luminii ambientale și, prin urmare, îmbunătățește performanța în exterior. Subsistemul optic ar trebui, de asemenea, să fie optimizat pentru lungimea de undă de funcționare dorită (de exemplu, acoperiri antireflex, designul filtrului trece-bandă, designul lentilelor) pentru a maximiza eficiența randamentului și a minimiza lumina dispersată. Există, de asemenea, numeroase cerințe mecanice pentru a se asigura că alinierea optică se încadrează în toleranțele dorite pentru aplicația finală.

Managementul consumului de putere

Managementul puterii este, de asemenea, extrem de important în proiectarea unui modul de cameră 3D ToF de înaltă performanță. Modularea laserului și modularea pixelilor generează explozii scurte de curenți de vârf mari, ceea ce impune anumite constrângeri asupra soluției de management a puterii. Există unele caracteristici la nivelul circuitului integrat (IC) al senzorului care pot contribui la reducerea consumului de vârf al dispozitivului de formare a imaginii. Există, de asemenea, tehnici de gestionare a consumului de putere care pot fi aplicate la nivel de sistem pentru a ușura cerințele față de sursa de alimentare (de exemplu, baterie sau USB). Principalele surse analogice de alimentare pentru un dispozitiv de formare a imaginilor ToF necesită, de obicei, un regulator cu răspuns tranzitoriu bun și zgomot redus.

Algoritmul de procesare în profunzime

Figura 4. Arhitectura sistemului optic.

În sfârșit, o altă parte importantă a proiectării la nivel de sistem este reprezentată de algoritmul de procesare a adâncimii. Senzorul de imagine ToF emite date brute de pixeli din care trebuie extrase informațiile de fază. Această operațiune necesită diferite etape care includ filtrarea zgomotului și desfășurarea fazei. Ieșirea blocului de desfășurare a fazei este o măsurătoare a distanței parcurse de lumină de la laser, până la scenă și înapoi la pixel, numită adesea plajă sau distanță radială.

Distanța radială este, în general, convertită în informații despre norul de puncte, care reprezintă informațiile pentru un anumit pixel prin coordonatele sale reale (X, Y, Z). Adesea, aplicațiile finale utilizează doar harta imaginii Z (harta de adâncime) în loc de norul de puncte complet. Conversia distanței radiale în nor de puncte necesită cunoașterea elementelor intrinseci ale obiectivului și a parametrilor de distorsiune. Acești parametri sunt estimați în timpul calibrării geometrice a modulului de cameră. Algoritmul de procesare a adâncimii poate produce și alte informații, cum ar fi imagini de luminozitate activă (amplitudinea semnalului laser de întoarcere), imagini IR 2D pasive și niveluri de încredere, care pot fi utilizate în aplicațiile finale. Prelucrarea adâncimii poate fi efectuată pe modulul de cameră în sine sau într-un procesor gazdă, în altă parte în sistem.

O prezentare generală a diferitelor componente la nivel de sistem abordate în acest articol este prezentată în tabelul 2. Aceste subiecte vor fi abordate mai detaliat în articole viitoare.

Componenta la nivel de sistem	Caracteristici cheie
Sistem de cameră ToF	Rezoluție, contrast ridicat de demodulare, eficiență cuantică ridicată, frecvență de modulație înaltă, zgomot de citire redus
Sursă de iluminare	Putere optică ridicată, frecvență de modulare ridicată, funcții de siguranță pentru ochi
Optică	Eficiență ridicată de colectare a luminii, lumină dispersată minimă, lățime de bandă îngustă
Managementul puterii	Zgomot redus, răspuns tranzitoriu bun, eficiență ridicată, putere de vârf ridicată
Procesare în profunzime	Putere redusă, suportă diferite tipuri de ieșire informații de adâncime

Tabelul 2: Componente la nivel de sistem ale camerelor 3D Time of Flight

Concluzie

Camerele ToF (Time of Flight) cu undă continuă reprezintă o soluție performantă pentru aplicații care necesită informații 3D de înaltă calitate, oferind o precizie ridicată a adâncimii. Există mulți factori care trebuie luați în considerare pentru a se asigura că se obține cel mai bun nivel de performanță. Factori precum frecvența de modulație, contrastul de demodulare, eficiența cuantică și zgomotul de citire dictează performanța la nivelul senzorului de imagine. Alți factori sunt considerații la nivel de sistem, care includ subsistemul de iluminare, designul optic, managementul puterii și algoritmii de procesare a adâncimii. Toate aceste componente la nivel de sistem sunt esențiale pentru a obține un sistem de cameră ToF 3D de cea mai mare precizie. Aceste subiecte la nivel de sistem vor fi abordate mai detaliat în articole ulterioare.

Pentru mai multe informații despre ofertele de produse ToF ale ADI, vizitați analog.com/tof.

Autori:
Paul O’Sullivan și Nicolas Le Dortz, Analog Devices

Despre autori

Paul O’Sullivan este inginer de sistem la Analog Devices în Santa Clara, California. El s-a alăturat companiei Analog Devices în Irlanda în 2004, unde a lucrat în diverse roluri în domeniul testării și ingineriei aplicațiilor, înainte de a se muta în California în 2016 pentru a lucra la proiecte de tehnologie avansată pentru aplicații de consum. Din 2019, lucrează la dezvoltarea și calibrarea modulelor de camere 3D ToF. Este licențiat în inginerie la University College Cork și deține un masterat în inginerie la University of Limerick, Irlanda. Poate fi contactat la paul.osullivan@analog.com.

Nicolas Le Dortz este manager de inginerie de sistem în cadrul grupului de tehnologie Time of Flight (ToF) la Analog Devices. În acest rol, el supervizează dezvoltarea ofertei de tehnologie ToF a ADI, făcând legătura între echipele inter-funcționale implicate în furnizarea de sisteme de camere ToF și aducând performanțe remarcabile clienților Analog Devices. A obținut un master în inginerie electrică la Ecole Polytechnique, Franța, în 2010, un master în microelectronică la KTH, Suedia, în 2012, și un doctorat în inginerie electrică la Ecole Centrale-Supelec, Franța, în 2015 și a fost cercetător invitat la UC Berkeley între 2013 și 2014. Este pasionat de colaborarea cu clienții pentru a crea inovație în jurul senzorilor de adâncime prin reunirea unor discipline precum viziunea computerizată, procesarea semnalelor, proiectarea circuitelor integrate, dezvoltarea de software și proiectarea optică. Poate fi contactat la nicolas.ledortz@analog.com.

Analog Devices