Frontiers in Psychology

Introduktion: Rumslig information

Steroskopisk syn ger viktig information om den rumsliga strukturen i omvärlden. De två ögonen erbjuder i stort sett likartade optiska bilder men från något olika utsiktspunkter. De resulterande små skillnaderna mellan de två monokulära bilderna utgör visuellt viktig information som inte finns tillgänglig i någon av bilderna ensamt. Det binokulära visuella systemet är utomordentligt känsligt för denna stereoskopiska information. Men vad är egentligen binokulär disparitet? Det är inte terminologin som är problemet, utan den ingående informationen. Det är nödvändigt att identifiera insatsen för att kunna avgöra hur denna insats behandlas.

En aspekt av detta problem är ”korrespondensproblemet” – att identifiera motsvarande rumsliga element i de två monokulära bilderna (Julesz, 1960, 1971; Marr och Poggio, 1976, 1979). Problemets karaktär och betydelse framhävdes av Julesz eleganta experiment med stereogram med slumpmässiga punkter. Dessa slumpmässiga texturmönster innehåller ett stort antal identiska element med otaliga potentiella binokulära korrespondenser och dispariteter. Det är uppenbart att motsvarande bildelement inte kan vara enskilda texturelement. Samarbetsvilliga visuella interaktioner mellan lokala texturelement på släta ytor verkar vara nödvändiga för stereopsis, vilket Julesz (1960, 1971) och Marr och Poggio (1976, 1979) betonade. Forskningen fortsätter om de visuella processer som ger korrespondens (Blake och Wilson, 2011).

Bortom korrespondensproblemet involverar dock binokulär disparitet en representation av rumslig struktur. Rumsliga positioner för motsvarande bildelement representeras ofta i förhållande till hypotetiska anatomiskt definierade retinakoordinater, och disparitet representeras som en binokulär skillnad i dessa koordinater. Per definition är dessa retinakoordinater oberoende av den optiska bildstrukturen.

Denna rumsliga representation kan dock testas med rimliga alternativa hypoteser. I denna artikel granskas bevis för den rumsliga strukturen för binokulär disparitet. Artiklar av Lappin och Craft (1997, 2000) och Lappin et al. (2011) är också relevanta.

Som diskuteras av Lappin et al. (2011) är två psykofysiska kriterier för att identifiera information för synen upplösning och invarians. Upplösning innebär precision i diskrimineringen, som begränsas av variabiliteten. Kort sagt, vad ser de två ögonen bäst? Information och geometrisk struktur definieras också av invarians – av de grupper av transformationer av observationsförhållanden (t.ex. betraktningsläge och belysning) under vilka de förblir invarianta. En sådan invarians kan testas experimentellt.

Bildintensiteter och visuellt utrymme

Den venetianska jalusieeffekten

Flera fenomen motiverar en omprövning av binokulär disparitet. En motivering är ”Venetian blind effect” (VBE) – där dikoptiska intensitetsskillnader mellan vertikala galler med icke-differentierade kanter ger upphov till en upplevd förändring av 3D-ytans lutning. Uppenbarligen är rumslig disparitet inte nödvändig.

Cibis och Haber (1951), Ogle (1962) samt Howard och Rogers (2002) menar att VBE inte kräver någon revidering av teorierna om stereopsis: Monokulära intensitetsmönster kan påverka rumsliga positionssignaler – eftersom ljusspridning eller icke-linjär visuell signalering kan påverka rumslig disparitet.

Utäckande studier av Filley et al. (2011), Hetley och Stine (2011) samt Dobias och Stine (2012) visar dock tydligt att VBE härrör från disparata intensiteter, inte rumsliga positioner. Disparata intensiteter och kantpositioner har additiva effekter på det upplevda djupet; och de två dispariteterna kan upphäva varandra.

VBE stämmer också överens med andra experimentella bevis för att dispariteter i ytans ljusa och skuggor bidrar till uppfattningen av 3D-struktur (Bülthoff och Mallot, 1988; Norman m.fl., 1995; Todd m.fl., 1997; Vuong m.fl., 2006; Nefs, 2008). Ytstruktur påverkar binokulära skillnader i både rymd och skuggning. VBE är en av flera bevislinjer för att synen använder båda informationsdimensionerna.

Bildintensiteter och rumsliga positioner samvarierar

Monokulär bildstruktur innebär rumsliga variationer av intensitet. Oavsett hur man representerar de fysiska dimensionerna är rum och intensitet inte visuellt oberoende.

Den rumsliga positionen för en given optisk funktion (t.ex. en kant) kan representeras i förhållande till en oberoende referensram eller topologiskt, i förhållande till den omgivande bildstrukturen. Exempel på båda tillvägagångssätten är vanliga inom synvetenskapen. Begreppet binokulär disparitet inbegriper ofta det intuitiva begreppet rum som oberoende av de objekt och mönster som det innehåller. Intuitivt skulle näthinnans anatomi kunna ge sådana rumsliga koordinater.

Alternativt kan topologin hos rumsliga relationer vid en given punkt beskrivas på flera sätt. Topologiska parametrar inkluderar (a) komplexitet (antal punkter eller regioner), (b) dimensionalitet och (c) skala (storlek på grannskapet).

En välkänd topologisk beskrivning är Fourieranalys. Fourierkraftspektrumet inbegriper korrelationer mellan bildkontraster vid par av punkter. Fourier-fasspektrumet specificerar relativa positioner för olika våglängder, vilket inbegriper relationer mellan tripplar av punkter (Yellott, 1993). Fasspektrumet är väsentligt för de flesta aspekter av synlig bildstruktur, inklusive stereopsis (Piotrowski och Campbell, 1982; Smallman och McLeod, 1994; DeAngelis et al., 1995; Blake och Wilson, 2011). Effekt- och fasspektren är translationsinvarianta. Ingen av dem kräver retinakoordinater.

En annan topologisk beskrivning bygger på differentialgeometri. Koenderink och van Doorn (1976, 1992a,b, 1997) och Koenderink (1986, 1990) är huvudansvariga för utvecklingen av den differentiella geometrin för bildstruktur.

Bildintensitetens rumsliga struktur ger synlig information om variationer i ytans orientering i förhållande till både betraktnings- och belysningsriktningar. Otaliga illustrationer finns i litteratur om bildskuggning inom fotografi, måleri, datorseende och synvetenskap (t.ex. Koenderink och van Doorn, 2004). Uppenbarligen illustrerar VBE också sådana effekter.

VBE visar att retinala positionsdifferenser inte är nödvändiga för stereopsis. Andra experiment som granskas nedan visar att disparata näthinnepositioner också är otillräckliga.

Den upplevda ytans lutning är oprecis

Det upplevda djupet i VBE verkar mindre, mindre övertygande och mindre tillförlitligt än det från disparata rumsliga positioner.

Är stereopsis helt enkelt okänslig för intensitetsskillnader? I själva verket verkar binokulär syn vara ganska känslig för dikoptiska kontrastskillnader; och dessa kontrastskillnader påverkar upplevda rumsliga positioner i binokulärt sammanslagna bilder (Ding och Sperling, 2006).

En källa till varierande upplevd ytskråhet i VBE är att dikoptiska intensitetsskillnader har två kompletterande perceptuella effekter – på binokulär ljusstyrka såväl som på djuprotation (Hetley och Stine, 2011). Hetley och Stine (2011) fann att de relativa storlekarna av dessa två effekter varierade mellan observatörer och förhållanden, men att den kombinerade effekten var relativt konstant.

En annan begränsning av VBE är att ytskråning inte uppfattas på ett tillförlitligt sätt hur som helst – från binokulär disparitet, struktur från rörelse, bildskuggning, textur eller annan information. Denna perceptuella begränsning är knappast förvånande: bildinformation om ytans orientering är nödvändigtvis beroende av observatörens betraktelseposition. Experimentella bevis för den stereoskopiska sneduppfattningens oprecisa karaktär granskas nedan (avsnittet Stereoscopic Surface Slant is Imprecise).

Stereoscopic Depth Perception

För att identifiera indatainformation för stereopsis kan man arbeta baklänges från perceptuell utgång till optisk ingång: Vilken struktur av binokulär disparitet är nödvändig och tillräcklig för att uppfatta miljöstrukturer på djupet?

Denna strategi exemplifierar means-end-analys (Simon, 1996) och Gibsons (1966) metod i ”The senses considered as perceptual systems”. Denna metod är vanlig inom ingenjörsvetenskapen, men den skiljer sig från att börja med förmodad retinal input. En svårighet med det konventionella tillvägagångssättet med input först är att binokulär disparitet och optisk information kan representeras på många olika sätt. Få representationer räcker dock till för stereoskopisk perception.

Stereopsis är inte nödvändigt för att uppfatta en 3D-värld, men den visuella upplevelsen är mycket tydligare med stereopsis än utan. Skillnaderna i perceptionen med och utan stereopsis är subjektivt djupgående, vilket beskrivs av Oliver Sacks (”Stereo Sue,” i The mind’s eye, Sacks, 2010) och Bruce Bridgeman (http://www.bbc.com/future/story/20120719-awoken-from-a-2d-world).

För övrigt förbättrar stereopsis avsevärt den rumsliga skärpan. Akusitetströsklarna för binokulärt disparata relativa positioner är ungefär 25 % av trösklarna för samma mönster utan disparitet (Berry, 1948; Westheimer och McKee, 1979; Lappin och Craft, 2000).

Vad är då strukturen för den stereoskopiska uppfattningen? Är djup en perceptuellt skapad tredje dimension? Det är en vanlig intuition, men inte den enda möjligheten.

Alternativt kan stereoskopisk rymd och djup härröra från synliga relationer mellan objekt. Flera hypoteser är möjliga om den primitiva visuella topologin i det uppfattade rummet.

Experimentell forskning visar att ytform är en elementär visuell egenskap. Ur traditionella perspektiv är denna slutsats mycket kontraintuitiv. Objektstrukturer av högre ordning tycks härröra från enklare visuella signaler.

Den samtida förståelsen av den visuella rollen för ytor och ytform beror främst på Koenderink och van Doorn (1992a,b, 1997) och Koenderink (1990). De grundläggande teoretiska resultaten är bl.a. följande: (1) Ytorna på miljöobjekt och deras retinala bilder är båda tvådimensionella manifest, som vid varje punkt beskrivs av rumsliga derivat i två huvudsakliga ortogonala riktningar. (2) De differentiella strukturerna hos miljöytor och de binokulära disparitetsfälten hos deras bilder är ungefär isomorfa. (3) Bildinformation om lokal ytform ges av den differentiella strukturen av andra ordningen hos bildfälten för binokulär disparitet och rörelseparallax, som anger förhållandet mellan minsta och största krökning vid varje position. (4) Bildinformation av 2:a ordningen om lokal ytform kan uppskattas direkt utan att först uppskatta egenskaper av lägre ordning såsom djup eller ytorientering. (5) Variationer i lokal ytform är invariant med djup, lutning och krökning.

För att undersöka experimentella bevis, överväg alternativa hypoteser om upplevda absoluta och relativa djup.

Absoluta djup för enskilda punkter är visuellt odefinierade

Den enklaste rumsliga primitiviteten är en enskild punkt. Rumsliga positioner och binokulära skillnader för punkter kan vara visuellt definierade av näthinnans anatomi. Detta är en vanlig intuitiv uppfattning.

Några gånger erkänns dock en enskild punkt i allmänhet som stereoskopiskt tvetydig utan en referenspunkt vid fixering (Howard och Rogers, 2002).

Binokulär anpassning av de två retinala koordinatsystemen är dock problematisk, eftersom anpassningen varierar väsentligt med blickriktningen och avståndet mellan ögonen – se Howard och Rogers (1995, 2002). Justeringen störs också av disparata ögonrörelser (Steinman et al., 1985; Ferman et al., 1987; Collewijn och Erkelens, 1990).

Trots dessa feljusteringar framstår den uppfattade 3D-strukturen i världen vanligen som konstant under förändringar i blickens riktning och avstånd. Denna perceptuella stabilitet strider mot hypotesen att stereoskopiskt djup härrör från näthinnans positioner. Dessutom är tröskelvärdena för stereoskärpa för relativ position robusta under olika rörelser i de monokulära bilderna (Westheimer och McKee, 1978; Steinman et al., 1985; van Ee och Erkelens, 1996; Lappin och Craft, 1997, 2000). Således kan stereoskopiskt djup inte härledas från skillnader i retinala positioner för enskilda punkter.

Djupskillnader som uppfattas är oprecisa

En alternativ hypotes är att stereopsis ger perception av djupskillnader mellan punktpar.

Den retinala separationen mellan två punkter och den tillhörande binokulära skillnaden är invariant med fixeringsstället. Men förhållandet mellan parvis bilddifferens och fysisk djupskillnad beror fortfarande på objektens avstånd från observatören. När betraktningsavståndet, D, är stort i förhållande till den interokulära separationen, I, så ökar för en given disparitet (i parvis separation), ∂, motsvarande djupskillnad, Δd, ungefär med kvadraten på betraktningsavståndet:

Detta starka inflytande av betraktningsavståndet är en grundläggande begränsning av parvis disparitet. Som väntat är upplevda djupskillnader otillförlitliga.

Studier av McKee et al. (1990) och Norman et al. (2008) visade att upplevda djupskillnader mellan två objekt var oprecisa, vilket kvantifierades genom stora Weberfraktioner. McKee et al. (1990) fann trösklar för stereoskopiska djupskillnader som var cirka 3-5 gånger högre än trösklarna för monokulära separationer av samma stimuli. Norman et al. (2008) fann liknande oprecision, med Weberfraktioner (variationskoefficient = SD/M) ∼22 %. Däremot är Weberfraktionerna för enkel detektering av djup mindre än 0,5 % (t.ex. Lappin och Craft, 1997, 2000).

Stereoskopisk ytskråning är oprecis

Koenderink och van Doorn (1976) och Koenderink (1986) visade att ytskråning påverkar ”deformations”-komponenten i den första ordningens rumsliga derivat av det binokulära disparitetsfältet – som involverar disparata former av triangulära ytplattor. Deformationskomponenten är invariant med bildtranslation, expansion och rotation, men den varierar med betraktningsriktning och avstånd (se Howard och Rogers, 2002, kap. 21). Följaktligen är den upplevda ytans lutning tvetydig.

Lutningsdetektering är också anisotropisk, eftersom ögonen är horisontellt separerade, med större känslighet för vertikala än horisontella disparitetsgradienter (Rogers och Graham, 1983; Gillam och Ryan, 1992).

Den förutsägbara otillförlitligheten av lutningsdiskrimineringar har konstaterats experimentellt (t.ex. Todd et al., 1995). De nuvarande bevisen är dock begränsade: bedömningstillförlitlighet rapporteras ofta inte, betraktningsavstånd och kontext är ofta konstanta, och disparitetsgradienter samvarierar vanligtvis med texturgradienter och annan information.

Experiment av Norman et al. (2006, 2009) visade att stereopsi bidrar mycket lite till den begränsade precisionen hos uppskattningar av lutning som baseras på textur, relativ rörelse och skuggning. Ytorna i båda studierna sågs på ett konstant avstånd, och bedömningarna skulle ha varit mindre exakta med varierande betraktningsavstånd.

Stena ytskråningar kan vara svåra att särskilja eller ens upptäcka när dispariteten förändras för mycket på ett för litet område. Filippini och Banks (2009) utvärderade stereoskopisk upptäckt av stora djupgradienter med hjälp av slumpmässigt prickade sågtandade ytor i brus. Signal/brus-tröskelvärdena för ytdetektering steg snabbt för disparitets/separationsförhållanden över 1,0, vilket förutsades av korskorrelationsmodeller.

Andra experiment har dock visat att djupförändringar på släta ytor är mer synliga än vad som förutsägs av en korrelationsmodell. Allenmark och Read (2010) fann att stora djupförändringar var lika synliga på släta sinusvågsytor som på fyrkantsvågor. Norman et al. (1991) fann mycket noggranna diskriminationer av ytans jämnhet, som översteg förutsägelserna från korskorrelation eller andra linjära modeller.

Ytters ytform är en perceptuell primitivitet

Mänskliga observatörer kan diskriminera mycket små variationer i ytform – med större precision än för diskriminationer av djup eller lutning, och invariant under slumpmässiga störningar av djup och lutning(t.ex, van Damme och van de Grind, 1993; Todd et al., 1996, 1997; Perotti et al., 1998; Lappin och Craft, 2000; Todd, 2004; Lappin et al., 2011).

Norman et al. (1991) fann en korrekt uppfattning av ytans jämnhet. Ytor med slumpmässiga prickar i form av triangelvågor, som var diskontinuerliga vid sina extrema, kunde särskiljas från mycket likartade släta ytor (triangelvågens grundton + 3:e harmoniska) med en svag krökning vid extrema. Diskrimineringarna av jämnhet var mer exakta än upptäckter av skillnaderna i Fourier-effektspektren. Den stereoskopiska uppfattningen gav således krökta ytor (struktur av andra ordningen), inte djup eller lutningar.

Formdiskrimineringar är mer tillförlitliga än och oberoende av upplevda djupskillnader (van Damme och van de Grind, 1993; Todd et al., 1996, 1997; Perotti et al., 1998; Todd, 2004). Glatt ytform är därför en grundläggande visuell egenskap som inte härrör från uppfattade djup eller lutningar.

Binokulär disparitet

Vad säger den stereoskopiska uppfattningen oss om binokulär disparitet, den inmatningsinformation som används för stereopsis?

Disparitet involverar bildstruktur

Den första principen är att den stereoskopiska inmatningen involverar disparata bildstrukturer, inte disparata näthinnepositioner. Stereoskopisk hyperskärpa (upplösning som är finare än ögats fotoreceptortäthet, punktspridningsfunktion och diffraktionsgräns) är robust vid slumpmässiga störningar av näthinnans bildpositioner i varje öga (sektionerna Absoluta djup för enskilda punkter är visuellt odefinierade och ytformen är en perceptuell primitivitet). Således är monokulära rumsliga positioner visuellt definierade i förhållande till den omgivande bilden.

Disparitet involverar ytform

Det stereoskopiska seendet är direkt känsligt för formerna på omgivande ytor (avsnittet Ytform är en perceptuell primitiv). Ytans form diskrimineras mer tillförlitligt än till synes enklare egenskaper, och hyperskärpa för ytform bibehålls under slumpmässiga störningar av dispariteter av lägre ordning som är förknippade med relativt djup och lutning (Norman m.fl., 1991; Perotti m.fl, 1998; Lappin och Craft, 2000).

Stereoskopisk uppfattning av ytform är möjlig på grund av strukturella korrespondenser mellan miljöytor och binokulära skillnader som involverar rumsliga derivat av andra ordningen (Koenderink och van Doorn, 1992a; Lappin och Craft, 2000; Todd, 2004; Lappin et al, 2011).

Disparitet i 2:a ordningens bildstruktur

Den binokulära disparitetens ”differentiella struktur av 2:a ordningen” är enklare än vad den först kan verka. Den relevanta strukturen är bara den radiella symmetrin i grannskapet runt varje lokal bildpunkt. De disparata binokulära bilderna av en yta skiljer sig åt genom en deformation av denna symmetri. Den kvalitativa formen av denna lokala bilddeformation motsvarar den lokala ytformen, invariant med observatörens betraktelseposition.

Figur 1 illustrerar dessa bilddeformationer för var och en av de möjliga ytformerna. Som framgår motsvarar dessa stereodeformationer från vänster till höger lokala bilder av ett plan, en horisontell cylinder, en vertikal cylinder, en ellipsoid och en sadel – specificerade av de relativa storlekarna av de två huvudsakliga krökningarna (horisontell och vertikal i den här illustrationen). Dessa mönster exemplifierar de kvalitativa möjligheterna för släta ytor.

Figur 2 visar den robusta visuella känsligheten för jämna variationer i dessa lokala strukturella skillnader i bilder av slumpmässigt formade ytor. Bildinformation om lokal ytform bevaras under betydande globala disparitetsförändringar som orsakas av att bildplanet roteras, utvidgas eller skjuvas – vilket illustreras av den mellersta och nedre panelen. Liksom de flesta stereogram med slumpmässiga element är de slumpmässiga intensiteterna i dessa mönster oberoende av ytform och binokulär disparitet, men här varierar både djup och intensiteter jämnt, utan skarpa kanter. Till skillnad från de flesta naturliga bilder är skuggningen oberoende av ytformen; och intensiteterna är inte disparata.

Binokulär disparitet i den venetianska jalusieeffekten

VBE innebär upplevd rotation av vertikala staplar. Sådana plana rotationer ger normalt en bilateralt symmetrisk utvidgning eller komprimering av den horisontella skalan, vilket ses till vänster i figur 1. En förändring av den horisontella fördelningen av relativa intensiteter kan ha liknande effekter på visuella neuroner som reagerar på den omgivande stimuleringens balans mellan vänster och höger. Upplevd rotation verkar vara ett rimligt och förståeligt resultat av denna bilddisparitet.

Som Dobias och Stine (2012) påpekar är förklaringen till den upplevda rotationens riktning inte omedelbart uppenbar. Bildskuggning från reflekterande ytor beror på belysningsriktning samt ytans orientering. För specialfall med Lambertiansk skuggning (lika stor spridning i alla riktningar), strålande ytor och ytor som belyses bakifrån är bildintensiteten dock större när ytan är vinkelrät mot betraktningsriktningen. Således kan ytans orientering rimligen förefalla mer vinkelrät (och därmed expanderad) mot ögat med större relativ intensitet eller kontrast.

I allmänhet härrör stereoskopiskt uppfattade ytor från binokulära skillnader i bildstrukturer av högre ordning. För det visuella systemet är rumslig position och intensitet korrelerade dimensioner. Relativa rumsliga positioner innebär relativa intensiteter. Båda är strukturerade av ytor och båda utgör information om ytstruktur, inte djup som sådant.

Intressekonfliktförklaring

Författaren förklarar att forskningen har utförts i avsaknad av kommersiella eller ekonomiska relationer som skulle kunna tolkas som en potentiell intressekonflikt.