BAB 2

LANDASAN TEORI

Pada bab ini, akan diuraikan landasan teori yang mencakup pengertian

dan konsep tentang: Augmented Reality, Reality-Virtuality Continuum, Computer

Vision, Visual Odometry, Optical Flow, dan Metode Lucas-Kanade. Selain itu,

akan dipaparkan pula Metode Perancangan Program dan Teknologi Pendukung

yang digunakan.

2.1 Pengertian Augmented Reality

2.1.1. Augmented Reality

Menurut Bimber dan Raskar (2005), Augmented Reality berarti

mengintegrasikan informasi sintetis ke dalam lingkungan nyata. (Spatial

Augmented Reality: Merging Real and Virtual Words). Menurut penjelasan

Haller, Billinghurst, dan Thomas (2007), riset Augmented Reality bertujuan

untuk mengembangkan teknologi yang memperbolehkan penggabungan secara

real-time terhadap digital content yang dibuat oleh komputer dengan dunia ntata.

Tidak seperti teknologi Virtual Reality (VR) yang membawa user sepenuhnya ke

dalam lingkungan sintetis, Augmentd Reality memperbolehkan pengguna melihat

objek maya tiga dimensi yang diproyeksikan terhadap dunia nyata. (Emerging

Technologies of Augmented Reality: Interfaces and Design).

9 

 

 

 

Augmented Reality pada dasarnya adalah sebuah konsep yang

mencitrakan gambar tiga dimensi yang seolah nyata. Proses ini bisa diperinci

menjadi beberapa proses dan komponen.

Untuk mencitrakan gambar tiga dimensi tersebut, sistem Augmented

Reality terlebih dahulu harus melakukan 'penglihatan' atau 'vision' terhadap

lingkungan yang padanya akan dicitrakan objek virtual. kemudian, dilakukanlah

proses 'tracking' terhadap objek spesifik yang menentukan letak citraan objek

virtual tersebut. Kemudian, objek tersebut akan dikenali, atau dianalisis. Setelah

dikenali dan dianalisis posisi dan orientasinya, maka komputer akan melakukan

proses pencitraan objek tersebut, dan akan tampak pada perlengkapan display.

Komponen penting yang harus ada adalah:

a. Perlengkapan tampilan (display)

b. Alat tracking (pencarian)

c. Peralatan input

d. Perangkat komputer

Perlengkapan tampilan digunakan untuk menampilkan 'informasi' -

gambar atau objek tiga dimensi yang dicitrakan terhadap dunia nyata tempat user

melihat. Perlengkapan tampilan terbagi menjadi tiga jenis, yakni Head Mounted

Display, Handheld Display, dan Spatial Display. Head Mounted Display adalah

perlengkapan tampilan yang dikenakan di kepala user dan digunakan sebagai

'kacamata' untuk melihat dunia nyata, yang telah digabungkan dengan objek

virtual yang telah diregistrasikan dalam sistem, Handheld Display adalah

10 

 

 

 

perlengkapan ringkas yang dapat dibawa-bawa ke mana saja dan dapat dimuat di

tangan. Contohnya adalah smartphone dan android phone. Spatial Display adalah

sistem pencitraan yang menggunakan proyektor digital untuk mempetakan

informasi grafis pada objek fisik. Yang paling membedakan Spatial Display

adalah bahwa pencitraannya tidak terasosiasi dengan setiap individu user, namun

secara berkelompok.

Tracking biasanya dilakukan dengan teknologi-teknologi menangkap

gambar, misalnya dengan kamera digital, sensor optis lainnya, GPS, kompas, dan

lain sebagainya. Selain itu, alat tracking yang sekarang meningkat popularitasnya

adalah webcam, karena praktis, kecil, mudah dibawa dan diatur untuk dijalankan.

Peralatan input hingga sekarang ini masih banyak menjadi objek

penelitian. Hingga saat ini, alat yang digunakan mencakup alat 'pinch glove',

tongkat bertombol, atau peralatan handheld seperti smartphone.

Perangkat komputer, terutama dengan CPU yang kuat dan jumlah RAM

yang cukup besar untuk memproses gambar yang ditangkap. Sistem yang

digunakan untuk mobilitas biasanya menggunakan laptop yang dilengkapi

dengan webcam, sementara untuk yang bersifat diam menggunakan workstation

dengan kartu grafis yang kuat.

2.1.2. Reality-Virtuality Continuum

Paul Milgram dan Fumio Kishino mendefinisikan sebuah kontinuum

pada tahun 1994, yang bernama 'Milgram's Reality-Virtuality Continuum'.

11 

 

 

 

Mereka menjelaskan sebuah kontinuum yang terbentang mulai dari dunia yang

murni nyata, menuju dunia yang murni maya. Di dalam ruang kontinuum

tersebut, terdapat Augmented Reality, yang lebih dekat menuju dunia nyata, dan

Augmented Virtuality, yang lebih dekat menuju dunia maya. Kontinuum ini

diekspansi menjadi ruang dua dimensi, yakni virtualitas dan medialitas, di mana

taksonominya adalah realitas-virtualitas-medialitas. Titik awal / 'origin' (titik 0, 0

dalam ruang linear) dinotasikan dengan 'R', yang mewakili realita yang murni,

dan tidak dimodifikasi. Kontinuum yang menyusuri sumbu 'V', yang mewakili

virtualitas mengandung realita yang diperkuat dengan pencitraan (Augmented

Reality), dan pencitraan yang diperkuat dengan realita (Augmented Virtuality).

Taksonomi ini juga mengandung Modifikasi realita dan virtualitas, yakni

menyusuri kontinuum sumbu 'M', yang mewakili 'medialitas'. Makin jauh ke atas

dalam ruang medialitas, dapat kita temukan 'mediated reality', 'mediated

virtuality', dan kombinasi keduanya. Pada titik terjauh dari pusat R adalah dunia

virtual yang termediasi tinggi. Bahasan mengenai mediated virtuality ini

mencakup Mixed Reality, namun hal tersebut tidak akan dibahas dalam skripsi

ini.

 

 

Gambar 2. 1 ‘Milgram’s Continuum’

12 

 

 

 

 

 

Gambar 2. 2 'Mediated Reality Continuum'

2.2 Pengertian Computer Vision

Menurut Szeliski ( 2010 ), Computer Vision (atau Machine Vision) adalah

ilmu dan teknologi mesin yang 'melihat'. Dalam konteks ini, 'melihat' berarti

mesin tersebut mampu menangkap informasi dari sebuah gambar, untuk

menyelesaikan tugas tertentu, atau untuk 'memahami' atau 'mengenali' gambar

yang tertangkap, baik dalam pengartian secara umum maupun khusus.

(Computer Vision: Algorithms and Applications). Sebagai sebuah disiplin ilmu

sains, Computer Vision terkait dengan teori intelijensia semu, yang menangkap

informasi dari gambar. Data gambar ini bisa berupa bermacam bentuk, seperti

13 

 

 

 

video, gambaran dari beberapa kamera sekaligus, maupun data multi-dimensi

dari pemindai medis.

Dewasa ini, Machine Vision adalah bidang yang berkembang dengan

sangat pesat, baik dalam bidang industri maupun sains, bahkan sekarang telah

menginjak dunia entertainment. Sebagai disiplin teknologi, Computer Vision

mengaplikasikan model dan teori-teorinya untuk perancangan dan pembentukan

sistem Computer Vision. Contoh aplikasinya dalam sistem sekarang ini adalah

untuk:

a. Sistem Kendali Proses (contoh: robot industri atau kendaraan otomatis)

b. Deteksi kejadian (contoh: kamera pengawas, penghitungan orang)

c. Organisasi informasi (contoh: melakukan index pada database gambar dan

runtutan gambar)

d. Interaksi (contoh: sebagai input untuk peralatan interaksi manusia dengan

komputer)

Berikut ini adalah sebuah skema yang dapat menggambarkan ruang

lingkup Computer Vision:

 

a. A

s

j

b

k

R

b. P

d

d

Artificial Int

sistem navig

juga bekerja

belajar. Dala

ke dalam to

Reality.

Physics, atau

dan cahaya.

dengan bantu

Gambar 2. 3 R

telligence be

gasi robot. S

a sama dalam

am penelitia

opik Pattern

u Fisika, terh

. Beberapa

uan Comput

Ruang Lingku

erhubungan

elain itu, Co

m topik lain

an ini, penul

n Recognitio

hubung deng

soal pengu

ter Vision, co

up Computer V

dengan per

omputer Visi

n, seperti Pa

lis akan mem

on ini, dan a

gan Comput

ukuran dalam

ontohnya pe

Vision

rencanaan te

ion dan Artif

ttern Recog

mfokuskan b

aplikasinya

ter Vision da

m Fisika da

ergerakan flu

erotomatisasi

ficial Intellig

gnition dan t

bidang pene

pada Augm

alam bidang

apat diseles

uida.

14 

 

 

i atau

gence

eknik

elitian

ented

optik

saikan

15 

 

 

 

c. Neurobiology yang dalam satu abad terakhir ini terfokus dalam mempelajari

mata, neuron, dan struktur otak yang memproses stimuli visual pada manusia

dan hewan.

d. Signal Processing, khususnya pada proses Signal dua variable atau variabel

banyak, dapat diselesaikan dengan Computer Vision.

e. Selain yang dipaparkan di atas, banyak topik penelitian terkait tentang

Computer Vision yang juga dapat dipelajari dari sudut pandang matematis

murni. Misalnya, banyak sekali metode dalam Computer Vision yang

berdasarkan statistika, optimisasi, dan geometri. Selain itu, peranan bidang

matematika sangat besar pada implementasi Computer Vision, seperti

modifikasi metode-metode untuk meningkatkan kecepatan proses tanpa

penurunan performa.

2.3 Visual Odometry

Visual Odometry adalah proses menentukan posisi dan orientasi 'kamera'

atau 'penglihatan' sebuah alat dengan menganalisis gambar-gambar kamera yang

terkait. Dalam kasus penerapan Augmented Reality ini, Visual Odometry

berperan menentukan posisi relatif kamera dan objek yang dilacak, satu terhadap

yang lain.

Algoritma Visual Odometry melibatkan beberapa tahapan, yakni:

16 

 

 

 

a. Memperoleh input gambar, dengan peralatan input seperti kamera dan alat

sejenis

b. Koreksi gambar, dengan menerapkan teknik Image Processing untuk

menghilangkan distorsi kamera

c. Deteksi ciri-ciri, dan mencocokkan ciri-ciri tersebut melalui frame-frame dan

membentuk sebuah Optical Flow Field.

d. Memeriksa vektor Flow Field akan eror yang terjadi dalam tracking

e. Estimasi pergerakan kamera / objek

f. Repopulasi periodik trackpoint untuk menjaga coverage sepanjang gambar

2.4. Optical Flow dan Metode Lucas-Kanade

2.4.1. Optical Flow

Optical Flow adalah pola dari pergerakan objek, permukaan, dan sisi

pinggir atau ujung yang terlihat dalam sebuah pemandangan visual, yang terjadi

karena pergeseran relatif antara pengamat (kamera ataupun mata) dengan

pemandangan yang dilihat. Teknik-teknik Optical Flow seperti motion detection,

object segmentation, time-to-collision and focus of expansion calculations,

motion compensated encoding, dan stereo disparity measurement menggunakan

pergerakan / pergeseran tersebut. Dalam Augmented Reality, Optical Flow ini

berperanan penting untuk mendefinisikan dan tracking terhadap objek yang

17 

 

 

 

digunakan sebagai point of interest atau marker yang akan 'dibaca' oleh kamera

dan diinterpretasikan oleh software.

 

Gambar 2. 4 Skema 'Optical Flow'

2.4.2. Estimasi Optical Flow

Sederet gambar terurut membolehkan kita untuk mengestimasi /

memprediksi pergerakan sebagai kecepatan sesaat gambar, atau disposisi gambar

diskrit. Metode Optical Flow berusaha mengkalkulasikan pergerakan antara dua

frame gambar antara t dan t + δt pada setiap posisi voxel (elemen volumetris).

Metode-metode ini disebut diferensial karena berdasarkan deret Taylor yang

memprediksi signal gambar, dan turunan parsial terhadap koordinat temporal dan

spasial.

Untuk gambar berdimensi 2D+t (3D, atau n-D, karena serupa), sebuah

voxel pada posisi (x, y, t) dengan intensitas I(x, y, t) akan telah bergerak sejauh

 

δx, δ

ini m

kons

H.O.

Dari

Kare

yang

karen

δy dan δt ant

menjadi berla

I(x, y, t) =

Dengan a

strain pada I(

.T. = Higher

persamaan-

ena didiferen

g akan mengh

na turunan fu

tara dua fram

aku:

= I(x + δx, y

asumsi bahw

(x, y, t) dapa

r-Order-Term

persamaan t

nsialkan terh

hasilkan

fungsi posisi

me gambar,

+ δy, t + δt)

wa pergerak

at dikembang

ms / solusi pe

tersebut, dip

hadap t, menj

terhadap wa

dan persama

kan adalah s

gkan untuk m

endekatan).

eroleh bahw

jadi:

aktu adalah k

aan konstrai

angat kecil

memperoleh

wa

kecepatan,

in gambar be

/ minimal,

:

H.O

18 

 

 

erikut

maka

O.T.

 

2

di ma

serta

masi

Atau

tak d

algor

lagi,

meng

2.4.3. Meto

Flow

meng

yang

persa

deng

ana Vx, Vy ad

a , dan

ing-masing. I

u

Ini merup

dapat diseles

ritma Optica

yang dibe

ggunakan sy

ode Lucas-K

Metode L

w yang dikem

gasumsikan

g bersebelah

amaan Optic

gan pendekat

dalah kompo

n adalah

Ix,Iy dan It da

pakan persa

saikan. Kare

al Flow. Untu

erikan oleh

yarat tambah

Kanade

Lucas-Kanad

mbangkan o

bahwa alir

han dengan

cal Flow da

tan Least Sq

onen x dan y

derivatif gam

apat ditulisk

IxVx + IyVy =

amaan denga

ena itulah, in

uk mencari

batasan tam

han untuk me

de adalah s

oleh Bruce D

ran sesunggu

n pixel yan

asar pada s

uares Criter

y dari kecepa

mbar dari pa

kan untuk de

= − It

an dua varia

ni dikenal se

Optical Flow

mbahan. Se

enentukan al

ebuah meto

D. Lucas dan

uhnya kons

ng ditinjau,

emua pixel

rion.

atan Optical

ada (x, y, t) d

rivatif sebag

abel tak terd

ebagai apert

w, diperluka

emua metod

liran yang se

de diferensi

n Takeo Ka

tan dalam l

dan meny

dalam ling

Flow I(x, y,

dengan arah

gai berikut:

definisi, seh

ture problem

an satu persa

de Optical

esungguhnya

ial untuk Op

anade. Metod

lingkungan

yelesaikan s

gkungan ters

19 

 

 

t)

ingga

m dari

amaan

Flow

a.

ptical

de ini

lokal

semua

sebut,

 

meto

Optic

pada

karen

infor

dua

lingk

diasu

vekto

Ix(q1)

Ix(q2)

Ix(qn)

dan I

dan w

b di m

Dengan

ode Lucas-K

cal Flow. Se

a gambar, s

na merupak

rmasi Flow d

Metode L

saat berde

kungan titik

umsikan berl

or aliran per

)Vx + Iy(q1)V

)Vx + Iy(q2)V

)Vx + Iy(qn)V

Di mana

Ix(qi), Iy(qi),

waktu t, yan

Persamaa

mana

menggabun

Kanade dapat

elain itu, me

eperti meto

kan metode

dalam daerah

Lucas-Kanad

katan (fram

k p yang

laku untuk s

rgerakan gam

Vy = − It(q1)

Vy = − It(q2)

Vy = − It(qn)

It(qi) adalah

g dievaluasi

an-persamaa

gkan inform

t menyelesa

etode ini jug

ode-metode

lokal murn

h uniform ga

de mengasum

me) adalah

ditinjau. M

suatu daerah

mbar lokal (k

adalah

h turunan par

i pada titik q

an ini dapat d

masi dari p

aikan ambigu

a tidak terla

lain yang t

ni, metode i

ambar.

msikan perp

kecil, dan

Maka, pers

yang terpus

kecepatan) y

h pixel di dal

rsial dari gam

i dan pada sa

dituliskan de

pixel-pixel y

uitas inheren

lu sentitif te

terfokus pad

ini tidak da

indahan pos

mendekati

amaan Opt

sat pada titik

yaitu (Vx,Vy)

am daerah y

mbar I terhad

aat itu (wakt

engan matrik

yang berdek

n dari persa

erhadap gang

da titik. Na

apat membe

sisi gambar a

konstan d

tical Flow

k p. Secara kh

harus meme

yang dimaksu

dap posisi x,

tu sekarang)

ks berbentuk

20 

 

 

katan,

amaan

gguan

amun,

erikan

antara

dalam

bisa

husus,

enuhi:

ud,

y

.

k Av =

 

terde

mem

weig

ATAv

v = (A

di ma

deng

dari t

Sistem i

efinisi, sehi

mperoleh sol

ghted. Yang b

v = ATb, atau

ATA) − 1ATb

ana AT adala

gan sigma jum

Matriks A

turunan grad

ini memilik

ingga biasa

lusi kompro

berarti, ini m

u

ah transpose

mlah yang d

ATA seringk

dien sebuah

ki lebih ban

anya over-d

omi dengan

menjawab sis

dari matrix

dimulai dari

kali disebut s

fungsi) dari

nyak persam

determined.

n konsep L

stem 2x2:

A. Yang arti

i=1 sampai n

structure ten

gambar pad

 

dan

maan daripa

Metode Lu

Least Square

inya, mengh

n.

nsor (matrik

da titik p.

n 

ada variabe

ucas-Kanade

es yang be

hitung

ks yang dipe

21 

 

 

el tak

e ini

ersifat

eroleh

 

2

prior

Dala

titik

weig

ATWA

atau

v = (A

di m

akan

Weig

2.5. Meto

Man

mem

Solusi de

ritas / kepen

am praktekny

yang lebih d

ghted dari pe

WAv = ATWb

ATWA) − 1AT

mana W adala

n dimasukkan

ght wi biasan

ode Peranca

Untuk ta

agement den

mberikan kel

engan metod

ntingan yan

ya, biasanya

dekat terhada

rsamaan Lea

TWb

ah matriks d

n ke dalam p

nya digunaka

angan Prog

ahapan pera

ngan model

leluasaan da

de Least Sq

ng sama terh

a lebih baik

ap pixel pus

ast Squares,

iagonal n×n

persamaan p

an untuk fun

ram

ancangan p

Luca/Jadav.

alam proses

quares stand

hadap semu

memberikan

at, yakni p.

yang meng

ixel qi. Artin

ngsi Gaussia

rogram, pe

. Alasannya,

perancanga

dar di atas m

ua pixel n d

n weight / n

Untuk itu, k

gandung weig

nya, kita men

an untuk jara

nulis meng

, karena bers

an, serta leb

memberikan

dalam daera

nilai lebih ke

kita gunakan

ght Wii = wi

nghitung

ak antara qi d

ggunakan Pr

sifat fleksibe

bih mudah u

22 

 

 

taraf

ah qi.

epada

versi

yang

dan p.

roject

el dan

untuk

23 

 

 

 

melakukan re-evaluasi dan memperbaiki kesalahan. Adapun skema perancangan

model Luca-Jadav adalah sebagai berikut:

 

Gambar 2. 5 Skema Model Lucas-Jadav

Dengan mengikuti model ini, setiap fase dapat dikerjakan secara

individual. Apabila terdapat kesalahan pada fase sebelumnya, atau fase manapun,

maka penulis akan dapat mengkaji ulang secara langsung dan menerapkan solusi

secara efektif.

Adapun, tahapan perancangan yang diusulkan adalah:

a. Analisis kebutuhan

Pada tahap ini, akan dianalisis, program Augmented Reality seperti apa yang

paling tepat untuk menjadi hiburan interaktif yang menarik dan dapat

diterima masyarakat

24 

 

 

 

b. Riset dan eksplorasi

Pada tahap ini, akan dilakukan riset baik secara literatur maupun riset

lapangan, terhadap tanggapan, tuntutan, dan kebutuhan masyarakat untuk

hiburan interaktif

c. Perancangan protitip

Pada tahap ini, hasil analisis dan riset pada tahapan sebelumnya akan

digunakan untuk merancang sebuah prototip program yang akan

dikembangkan menjadi aplikasi hiburan interaktif

d. Pembuatan program

e. Tahap testing

Pada tahap ini, hasil program yang dibuat pada tahap sebelumnya akan dites,

dicari apakah ada bug atau tidak, dan diuji sambutannya dari masyarakat

f. Revisi dan perbaikan

Pada tahap ini, hasil tes pada tahap sebelumnya akan digunakan untuk

memperbaiki dan mengevaluasi program yang telah dibuat. Kemudian,

kesalahan-kesalahannya akan diperbaiki, dan akan disesuaikan rancangannya

dengan sambutan dan tanggapan masyarakat.

g. Finalisasi

Tahap ini adalah tahapan terakhir, di mana seluruh barisan kode program

akan dirapikan, dan disusun ulang dan dibentuk menjadi aplikasi yang

berfungsi penuh

25 

 

 

 

2.6. Teknologi Pendukung

2.6.1. Teknologi ARToolKit

Teknologi yang dikembangkan pertama kali oleh Dr. Hirokazu Kato ini

merupakan sebuah library yang bersifat open-source, yang membantu dalam

pengembangan dan perancangan aplikasi Augmented Reality. ARToolKit ini juga

memberikan kemudahan karena bersifat multi-platform, memiliki support untuk

beberapa bahasa pemrograman, dan API yang sederhana dan modular.

(http://www.hitl.washington.edu/home/)

2.6.2. Microsoft Visual Studio 2010

Microsoft Visual Studio 2010 merupakan sebuah IDE (Integrated

Development Environment) yang dikembangkan oleh Microsoft. IDE ini

mencakup semua bahasa pemrograman berbasis .NET framework yang

dikembangkan oleh Microsoft. Keunggulan Microsoft Visual Studio 2010 ini

antara lain adalah support untuk Windows 7, editor baru dengan WPF (Windows

Presentation Foundation), dan banyak peningkatan fitur lainnya. (Patrice Pelland,

Pascal Paré, dan Ken Haines, 2011)