Tekniken bakom de uppkopplade prylarna

Augmented reality

Text: Linus Brohult

Varför nöja sig med den simpla upplevelse som våra vanliga sinnen kan fånga upp av världen? Med augmented reality (AR) och kontextuell information kan våra intryck utvidgas – specialglasögon eller mobilens kamerafönster kan visa världen från helt nya vinklar. På lång sikt skymtar vi uppkopplade glasögon, kontaktlinser, eller att själva synnerven blir uppkopplad.

AR och kontextuell information är framtidstekniken som fört mobiltelefonerna till gränssnittsforskningens frontlinje. Ingen annan pryl är utrustad med så många sensorer som mobiltelefonen – och sensorerna blir bara fler. Dessutom finns ofantliga mängder information alltid tillgänglig via uppkopplingar till WLAN och mobilt internet.

I framtiden kan även det som kameran fångar upp i realtid matchas mot en 3D-databas över världen…I de flesta fall fungerar augmented reality genom att mobilen börjar med att bestämma din geografiska position. Detta sker genom GPS och triangulering av mobilnätets master. Därefter känner telefonen med hjälp av inbyggd accelerometer (rörelsesensor) och den inbyggda kompassen av hur du håller telefonen och åt vilket håll den är riktad. På så vis kan telefonen räkna ut vad som visas i din mobildisplay. Därmed kan programmet placera ut information på skärmen om det som visas på displayen. I framtiden kan även det som kameran fångar upp i realtid matchas mot en 3D-databas över världen, för att öka precisionen i det virtuella lagret så att man på så vis får en mer exakt AR-upplevelse.

På 1980-talet började fenomenet virtual reality (VR) mer frekvent att dyka upp inom science fiction. Det handlade om att uppleva en konstgjord verklighet, till exempel genom att innesluta sig i en VRhjälm som visade en i datorn uppspelad verklighet där man styrde sig fram genom exempelvis handskar med sensorer kopplade till datorn.

Idén om den virtuella världen är som i filmen Matrix där man kopplar hjärnan till en annan värld, eller som att man tar på sig en VR-hjälm för att på så vis innesluta sig i en annan värld. Men det finns en risk att den världen inte blir lika intressant som när man i stället förstärker den verkliga världen.

Det är där fenomen som mixed reality och AR kommer in i leken. Med AR bygger man inte upp en helt egen virtuell verklighet. I stället förstärker man den fysiska verkligheten via den digitala världen. Ett tydligt exempel är spelet Ghostwire, där man genom mobilens kamerasökare ser det verkliga rummet, men också en spökvärld, en virtuell verklighet som mixas in i den verkliga världen.

Med augmented reality kan mobiltelefonen räkna ut vad som visas på din display och ge dig fakta om det du har framför dig.

Men AR kan också användas till nyttofunktioner. Till exempel kan man utrusta en glasruta, exempelvis vindrutan på en bil, med inbyggda möjligheter att också fungera som en display. Under bilkörning i framtiden skulle man då kunna få upp information om omgivningen i ett extra lager som läggs ovanpå den vanliga verkligheten.

En annan idé kan vara att om man är i en butik ska det gå att hålla mobilens kamera mot en produkt och få upp information om den, och se om den säljs någon annanstans i närheten till ett bättre pris eller med en roligare färg. Om man i stället är utanför en restaurang kan man få upp betyg och kommentarer från tidigare kunder direkt i mobilens bildsökare.

Att exempelvis produktinformation ska kunna placeras på produkter är ett slags kontextbaserad informationstjänst som kräver att det också byggs upp en databas där föremål indexeras, vilket till exempel Nokia arbetar med inom projektet Point and Find.

Sikta in mobilkameran på en ruin och så byggs fornlämningen upp digitalt som den en gång såg ut.Men med AR ska informationen kunna byggas upp som en parallell verklighet som läggs ovanpå den vanliga verkligheten. Det skulle kunna användas på en fornlämning. Sikta in mobilkameran på en ruin och så byggs fornlämningen upp digitalt som den en gång såg ut.

Alex Olwal på Kungliga Tekniska Högskolan disputerade sommaren 2009 inom området AR, och enligt honom är det än så länge svårt att skapa en verklig AR-upplevelse med mobiltelefoner. Det vill säga en sådan som forskarna skulle godta som ”äkta” AR.

Det finns tre vedertagna kriterier för att något ska klassas som AR. För det första ska man se både det som är riktigt och det som är virtuellt samtidigt. För det andra ska det som är virtuellt och det som är verkligt presenteras geometriskt identiskt – så att de två världarna, den virtuella och den verkliga, verkligen matchar varandra. För det tredje ska allt detta ske i realtid.

Att det till exempel plingar till i mobilen när en kompis råkar befinna sig i samma kvarter – och er lokaliseringstjänst meddelar er om det – är enligt Alex Olwal i och för sig en digital förstärkning av den fysiska verkligheten, men ändå inte AR. Det är mer av en avancerad lokaliseringsbaserad tjänst.

Begreppet AR är lite missbrukat. Så fort det handlar om kontextuell information pratar man om AR. Oavsett vilken term man använder handlar de här nya tjänsterna om att utöka möjligheterna till information, att inte längre vara begränsade av våra fem kroppsliga sinnen. Det blir en förbättring som läggs på den vanliga verkligheten.

Det viktiga här är frågan: Vad vill vi människor ha för information utöver det vi vanligen ser? Det gäller att man själv som användare kan välja att prenumerera på en viss information. Det handlar inte bara om att visa saker utan också om att möjliggöra att individen kan styra sitt informationsflöde.

Mobilen får allt fler sensorer som kan användas till den här typen av tjänster. Det finns fler än vad vi egentligen tänker på. I dag har vi GPS, kamera, accelerometer, ljussensorer, bluetooth, mikrofon, wifi, kompass och möjlighet till celltriangulering. Snart utrustas telefonerna även med NFC, inomhuspositionering och miljöanalys som kan känna av om exempelvis luften innehåller skadliga ämnen.

Genom mobilens lokaliseringsteknik kan du se var du är, och med sensorerna känner programmet av hur du håller telefonen. Sedan kan du på skärmen få upp Wikipediainformation om omgivningen.

Wikitude är ett av de program som drar nytta av AR i mobiltelefoner – det finns än så länge till Android och Iphone. Genom telefonens kameralins kan man se stadens gator och byggnader. Programmet använder mobilens lokaliseringsteknik till att se var du är, och med sensorerna känner programmet av hur du håller telefonen. Sedan kan man på skärmen få upp Wikipediainformation om omgivningen – till exempel om ett medeltida slag utkämpats på den där kullen bredvid eller historien bakom teaterbyggnaden du har framför dig.

För att det ska fungera behöver programmet genom telefonens sensorer få veta hur skärmen är riktad, hur displayen är placerad, och därefter rita ut det rätt när skärmen rör på sig. I labbmiljö kan man använda elektromagnetiska sensorer. När man går utomhus måste man ta in så många källor som möjligt för att kunna få rätt positionering av enheten som används.

Parallellt med den här utvecklingen skapas det vi kallar Sakernas internet. I princip allt kommer att vara uppkopplat i framtiden. Det ger än mer möjligheter för mobilerna att ge oss information om verkligheten.

Frågan är om alla i framtiden kommer att gå omkring och stirra in i sina mobilskärmar för att få extra information om verkligheten. Kanske inte. Nokia har tagit fram en prototyp till AR-glasögon. Glasögon där man både kan se verkligheten och få extra information om verkligheten är en av de mest populära AR-produkterna som det forskas om nu.

Just nu är ju mobilen och dess skärm det bästa vi har. Den har en kraftfull grafikprestanda, den är alltid i fickan, den kan alltid vara online och den har en massa sensorer, men det är fortfarande inte ett optimalt sätt att använda AR.

Om man i framtiden har uppkopplade kontaktlinser eller påverkar synnerven för att få tillägg till sina synintryck vet vi inte ännu. Det finns viss typ av forskning där man har kunnat stimulera synnerven så det visuella kan påverkas.

Ett annat sätt är att bygga in skärmar som är optiskt genomskinliga, glas som släpper igenom ljus men också kan lägga på bildinformation.