Raycasting pada Augmented Reality Dimensi Tiga

Wahyu Setyo Budi

2210100154

Dosen Pembimbing:Dr. Supeno Mardi S. N, ST., MT.

Christyowidiasmoro, ST., MT.

1

2

Permasalahan

Objek terbatas pada marker dimensi dua

Lingkungan nyata augmented reality terbatas

pada dimensi dua

Kamera pada augmented reality dimensi tiga

masih statis

3

Tujuan Tugas Akhir

Aplikasi augmented reality 3D

yang bisa memunculkan

objek virtual tanpa

tergantung pada adanya

marker

Aplikasi Augmented Reality

3D dengan lingkungan nyata

dimensi tiga [tidak hanya

stream video]

Posisi kamera yang dinamis

Sudut Pandang A Sudut Pandang B

4

Batasan Masalah

Lingkungan nyata berupa lingkungan yang

sudah diatur sebelumnya

Lingkungan nyata bersifat statis

Tidak ada gangguan objek lain di depan

kamera pada saat program berjalan.

5

Gambaran Umum Sistem6

Alur Kerja Sistem

Pengambilan

data RGB dan

Kedalaman

Rekonstruksi

Dimensi Tiga

Render Data

RGB

Atur parameter

Kamera di XNA

Render Objek

Virtual

Raycasting dan

Render Depth

Masking

7

1 2 3

456

Pengambilan Data RGB dan Kedalaman8 1

Data Kedalaman

320x240, 30fps

Data RGB

640x480, 30fps

Rekonstruksi Dimensi Tiga

Pengambilan

Data

Kedalaman

Konversi depth

map

Hitung Point

Normal

Camera

Tracking

Volumetric

Integration

Pengambilan data kedalaman dari kamera Kinect dengan

mengaktifkan fitur DepthStream pada pustaka Kinect SDK.

Konversi data depth map dimensi dua menjadi data

dimensi tiga yang memiliki data x, y, dan z

Menghitung point normal dari masing-masing titik

Camera tracking menggunakan algoritma iterative

closest point dengan luaran parameter ekstrinsik kamera

Menggabungkan data depth map menjadi sebuah

volume menggunakan luaran dari camera tracking.

9 2

Atur Parameter Kamera di XNA

𝑚1 𝑚5𝑚2 𝑚6

𝑚9 𝑚13𝑚10 𝑚14

𝑚3 𝑚7𝑚4 𝑚8

𝑚11 𝑚15𝑚12 𝑚16

𝑥𝑦𝑧

= −𝑚1 𝑚5 𝑚9𝑚2𝑚3

𝑚6𝑚7

𝑚10𝑚11

𝑇

∗𝑚13𝑚14𝑚15

𝑟𝑜𝑙𝑙 = 𝑎𝑡𝑎𝑛2 𝑚2,𝑚1 𝑟𝑎𝑑

𝑦𝑎𝑤 = 𝑎𝑡𝑎𝑛2 −𝑚3, 𝑚72 + 𝑚112 𝑟𝑎𝑑

𝑝𝑖𝑡𝑐ℎ = 𝑎𝑡𝑎𝑛2 𝑚7,𝑚11 𝑟𝑎𝑑

𝑥𝑦𝑧

=𝑚1 𝑚5 𝑚9𝑚2𝑚3

𝑚6𝑚7

𝑚10𝑚11

𝑇

∗001

Luaran ICP Dekomposisi Luaran ICP

(Posisi kamera)

(Target kamera)

10 3

Inisiasi awal, semua nilai adalah nol

Matrix Luaran ICP =

Render Data RGB11 4

• Render Data RGB Sebagai Texture

Render Objek Virtual12

Render data RGB

Render Objek Virtual

Inisiasi kamera pada XNA

Parameter kamera dari ICP

Mulai

Selesai

Diagram Alur

Hasil render objek virtual

5

Raycasting dan Render Depth Masking13

Ilustrasi RaycastDiagram Alur

6

Hasil Raycasting

Render Depth Masking

jeda = maxJeda?

Set maxJedaSet jeda

Reset jeda

Increment Jeda

Selesai

Mulai

Update data Depth Masking

(Raycasting)

Render data RGB

Render Objek Virtual

Inisiasi kamera pada XNA

Parameter kamera dari ICP

A

A

Pengujian pada Benda Sederhana14

Pengujian dengan menggerakkan kamera

Pengujian Pada Benda tak Beraturan15

• Area yang ditandai dengan warna merah seharusnya tertutup

• Kamera Kinect tidak memiliki detail tinggi

Pengaruh Jeda Depth Masking Pada

Performa Sistem

14.24

6.957.61

8.26

8.999.374

10.82

0.072 0.144 0.263 0.484 0.667 0.821 0.924

0

2

4

6

8

10

12

14

16

tanpa depth

mask

0 1 3 5 7 9

FP

S

Jeda Frame

FPS Perbaharuan visual depth mask

16

Hasil jeda depth masking

Nilai paling optimal

Berdasarkan pengamatan visual

Pengujian pada objek virtual bergerak17

12

: Jalur pesawat tidak tertutup oleh depth masking

: jalur pesawat tertutup oleh depth masking

Kesimpulan

Posisi objek virtual tetap meskipun orientasi dan posisi kamera

berubah.

Saat fitur depth mask diaktifkan dengan jeda 0 fps terjadi

penurunan performa sebesar 7.29 fps dari 14.24 fps menjadi 6.95

fps atau sebesar 51.19% dari performa sistem.

Nilai jeda antara depth masking yang paling optimal

berdasarkan hasil pengamatan adalah sebesar 3 frame

dengan performa sistem sebesar 8.26 fps dan perbaharuan

visual depth masking adalah 0.484 detik. Peningkatan performa

sistem yang terjadi dengan penggunaan nilai ini adalah

sebesar 1.31 fps atau 18.85% jika dibandingkan dengan tanpa

penggunaan jeda.

18

Daftar Pustaka

[1] Ashari, Riska Wahyu. “Fixed Point Augmented Reality Menggunakan Kinect”. Publikasi Tugas Akhir. Surabaya: Institut Teknologi Sepuluh Nopember, 2013.

[2] Azuma, Ronald T., “A Survey of Augmented Reality”, In Presence: Teleoperators and Virtual Environments 6, 4 (August 1997), 355-385.

[3] Milgram, Paul dan Kishino, Fumio, “A Taxonomy of Mixed Reality Visual Displays”, IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994.

[4] Microsoft Developer Network Library. “Kinect for Windows Sensor Components and Specifications”. <URL: http://msdn.microsoft.com/en-us/library/jj131033.aspx> Desember, 2010.

[5] Sitek et al. "Tomographic Reconstruction Using an Adaptive Tetrahedral Mesh Defined by a Point Cloud" IEEE Trans. Med. Imag. p.25 (2006).

[6] Rusu, Radu Bogdan. “Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments”. Dissertation Publication. München : Institut für Informatik der TechnischenUniversität München, 2009.

[7] Colas, Francis. “Iterative Closest Point Algorithm”. [Presentation] Zurich : ETHZurich, 2011.

[8] Izadi, Zahram. “KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera”. Microsoft Research. Cambridge University, 2011.

19

Video Demo20

Terima Kasih21