MPEG video coding

75
MPEG VIDEO CODING OLEH KELOMPOK V

description

MATA KULIAH MULTIMEDIA SEMESTER 7 UNIVERSITAS UDAYANA KONSENTRASI SISTEM KOMPUTER INFORMATIKA

Transcript of MPEG video coding

Page 1: MPEG video  coding

MPEG VIDEO CODINGOLEH KELOMPOK V

Page 2: MPEG video  coding
Page 3: MPEG video  coding

Moving Picture Expert Group (MPEG)

standar audio video transmission dan digunakan sebagai standar pengkodean citra bergerak

video digital dalam bidang televisi digital, aplikasi grafis interaktif (synthetic image content), dan multimedia interaktif (World Wide Web, distribusi danakses kandungan citra).

Page 4: MPEG video  coding

MPEGTipe frame

I-pictures : •dikodekan tanpa merujuk ke gambar sebelumnya •merupakan access point ke coded sequence untuk decoding•Intraframe coded seperti JPEG (kompresi moderat)2. P-pictures : •dikodekan prediktif merujuk ke gambar I atau P-coded sebelumnya•digunakan sebagai rujukan (anchor) untuk coding gambar kedepan•Coding sangat serupa dengan H.261

3. B-pictures: -dikodekan prediksi bidirectional menggunakan past, future atau kombinasi gambar meningkatkan efisiensi motion compensastion -- tidak pernah digunakan untuk prediksi.

Bagian ini yang unik pada MPEG mempunyai dua implikasi penting: dikodekan dengan kompresi paling tinggi tanpa suatu efek sampinganuntuk transmisi melalui jaringan paket, B-pictures mungkin dibuang (mis. krn buffer overflow) tanpa mempengaruhi decoded pictures berikutnya

Page 5: MPEG video  coding

MPEG video coding :

MPEG Video Coding I :MPEG-1 dan MPEG-2

MPEG Video Coding II : MPEG-4, MPEG-7 dan MPEG-21.

Salah satu dari format standar MPEG yang digunakan dalam pengompresan suara dan gambar dalam video CD

MPEG - 1

untuk merespons kebutuhan pasar sebagai cara penyimpanan informasi visual dalam media penyimpan yang lain dari analog video cassette recorder (VCR)

Page 6: MPEG video  coding

Gambar diatas adalah permasalahan pada frame makroblock. Sebuah Macroblok yang terdiri dari sebuah bagian pada bola pada frame sekarang tidak bisa menemukan makroblok yang cocok pada frame sebelumnya. Karena sebagian daerah dari bola pada frame sebelumnya tertutup oleh objek lain. Kecocokan baru ditemukan pada frame selanjutnya dimana bola sudah tidak tertutup oleh object lain

Page 7: MPEG video  coding

Motion Compensation In MPEG-1

untuk kompresi dan penyimpanan program-program video (1,5 Mbps)

aplikasinya : untuk komputer desktop dengan CD-ROM video (aplikasi-aplikasi video interaktif yang disimpan), atau dalam sistem-sistem broadcast satelit digital permulaan.

Page 8: MPEG video  coding

Pada prediksi maju adalah prediksi (makroblok dari target P-frame menempatkan posisi yang cocok dari I atau P frame sebelumnya) dari frame yang sebelumnya.Pada prediksi maju, prediksi sebelumnya juga ditampilkan dimana makroblok yang tepat diperoleh dari I atau P frame selanjutnya pada video yang berurutan. Lalu sebagian makroblok dari B-frame akan di spesifikasi menjadi 2 motion vektor dimana 1 berasal dari forward (selanjutnya) dan 1 lagi berasal dari backward (sebelumnya).Jika kedua motion cocok maka kedua motion tsb akan dikirim dan dirata-ratakan sebelum di bandingkan dengan target makroblok untuk menghasilkan prediksi kesalahan.

Page 9: MPEG video  coding

Pola frame yang sebenarnya ditentukan pada saat encoding (video header.) MPEG menggunakan M untuk menunjukkan interval antar P-frame dan I atau P yang terproses. N untuk menunjukkan interval antara 2 I-frame yang berurutan. Misalnya pada gambar di atas, M = 3, N = 9.Pada situasi yang tidak biasa ketika nilai M =1 maka tidak ada B-frame yang digunakan.

Sejak MPEG encoder dan decoder tidak dapat mebgolah banyak makroblok dari B-frame tanpa P atau I frame, coding yang sebenarnya dan proses pengiriman transimisi berbeda dari tampilan pengiriman dari video

• Frame rate : kecepatan pembacaan gambar

• Bit rate : jumlah data yang ditampilkan saat video dimainkan

Page 10: MPEG video  coding

Dalam banyak aplikasi bit rate video MPEG-1 dalam range 1 - 1,5 Mbps (standar tidak membatasi bit rate) bit rate lebih tinggi dapat digunakan

Mendukung sistem televisi (625 dan 525 garis), workstation dan PC scanning image progresive (sumber interlaced harus dikonversikan dahulu ke format non-interlaced sebelum coding, setelah decoding dikonversikan kembali ke format intrelaced untuk display)

Kualitas video MPEG-1 pada rate 1 - 1,5 Mbps sebanding dengan VCR

Harus menyediakan kondisi viewing seperti VCR : forward play, freeze picture, fast forward, fast reverse, slow forward, random access

MPEG-1 memanfaatkan DCT untuk lossy coding intraframe dan interframe prediction error

Algoritma MPEG-1 perluasan dari H.261 banyak common features bit stream tidak kompatibel (walaupun encoding unit serupa)

Standar MPEG-1 (spt H.261) tidak menspesifikasikan rancangan decoder/encoder

Yang diharapkan dari MPEG-1 (spt H.261) menghasilakan bit stream yang decodable

Page 11: MPEG video  coding

Perbedaan utama MPEG-1 dengan H.261~ Source Format, H.261 hanya support CIF dan QCIF sedangkan MPEG-1 support SIF~ MPEG-1 Mempunyai jarak yang lebih lebar dibandingkan H.261 yaitu antara frame I dan

frame P sehingga diperlukan perluasan pada vector motion yang digunakan dimana Vektor motion harus berukuran ½ x pixel yang ada.

~ Dibandingkan dengan jarak maksimum ± 15 pixels untuk gerakan masuk kepada H.261, MPEG-1 mendukung cakupan [- 512, 511.5] untuk ketepatan half-pixel dan [- 1, 024, 1, 023] untuk ketepatan full-pixel gerakan vektor.

~ Pada standar H.261 frame yang berurutan dikodekan sama gambar/picture adalah top level dari hierarki coding

~ Pada MPEG-1 ada beberapa tipe picture ,Group of Pictures (GOP) level tertinggi dari hierarki

Pada H.261 motion compensation optional asumsi motion estimation dapat mengurangi correlation DCT coding tidak efisien investigasi sejak publikasi H.261: asumsi di atas terbukti tidak benar Motion estimation menjadi bagian integral pada video codec berikutnya, seperti MPEG-1, MPEG-2, H.263 dan MPEG-4

Strategi motion estimation pada MPEG-1 berbeda dengan H.261 dalam 4 hal: - motion estimation adalah bagian integral dari codec - daerah pencarian gerak (motion) jauh lebih besar - digunakan motion compensation dengan presisi lebih tinggi - B-pictures dapat mengambil manfaat dari bi-directional motion compensation

Page 12: MPEG video  coding

berkas video analog di-encode, atau representasikan dalam bit digital yang dapat dibaca dan dioperasikan oleh prosesor komputer

Berkas analog yang dapat di-broadcast secara langsung yaitu videotape dan kaset VHS harus di-digitasi dimana kartu encoder menerima berkas analog melalui kabel ke dalam interface-nya dan meneruskannya ke perangkat keras dan software encoding,selanjutnya berkas tersebut di-encode ke dalam bentuk digital.

contoh

Page 13: MPEG video  coding

ENCODER

Perbedaan utama encoder MPEG-1 dan H.261

• Frame re-ordering: pada input encoder coding B-picture ditunda untuk dilaksanakan setelah coding anchor I- dan P-pictures

• Quantisation: macroblock yang dikodekan secara intraframe secara subjektif dibobot untuk mengemulasikan distorsi coding yang dirasakan

• Motion estimation: daerah pencarian diperluas dan presisi ditingkatkan ke setengah pixel. B-pictures menggunakan bidirectional MC

• Tidak ada loop filter• Frame store & predictors: untuk menyimpan dua gambar anchor untuk prediksi B-pictures• Rate regulator: karena ada lebih dari satu tipe gambar, masing-masing membangkitkan bit rate yang berbeda

1. Pertama-tama untuk suau macroblock, mode coding dipilih tergantung pada tipe gambar, keefektifan prediksi motion compensated pada region lokal tersebut dan natur sinyal dalam blok

2. Kedua, tergantung pada mode coding, prediksi (sinyal error) motion compensated dari macroblock berdasarkan past dan/atau future gambar referensi dibentuk

3. Ketiga, - sinyal error dibagi kedalam block 8 x 8 dan DCT pada tiap block - Hasil block 2-D 8 x 8 dari koefisien DCT dikuantisasi dan di-scan zigzag untuk mengkonversikan ke deratan 1-D4. Keempat, - informasi sampingan dari macroblock termasuk: tipe, block-pattern, motion vector dan address bersama-sama dengan koef DCT dikodekan - Untuk efisiensi yang maksimum, semua data dikodekan VLC - Koefisien DCT dikodekan run-length dengan pembangkitan events seperti pada H.261

Page 14: MPEG video  coding

Bit-stream yang datang disimpan dalam buffer, dan di demultiplex-kan dalam parameter coding seperti koefisien DCT, motion vector, tipe macroblock, address, dan sebagainya. Kemudian panjang variable di decode-kan menggunakan table yang tersedia secara lokal.

Diagram block decoder yang berbasis pada prinsip yang sama dengan local decoder yang berhubungan dengan encoder.

Page 15: MPEG video  coding

Pertama-tama decoder akan mendecodekan sequence header, termasuk sequence parameter

Jika decoder menentukan dapat men-decode-kan bit-stream, maka decoder akan men-set-up parameter yang sesuai dengan yang didefinisikan pada sequence header (horizontal & vertical resolution, aspect ratio, bit rate, quantisation weighting matrices)

Selanjutnya decoder akan men-decode-kan group-of-picture header field untuk menentukan struktur GOP. Kemudian men-decode-kan header picture yang pertama dalam group-of-picture, dan untuk operasi konstan bit rate menentukan buffer fullnessKemudian akan delay decoding deretan berikutnya sampai input buffer terisi ke level yang benar decoder akan yakin tidak akan ada overflow atau underflow

Normalnya ukuran buffer akan lebih besar daripada minimum yang disyaratkan oleh bit-stream

Slices dan macroblock pada gambar di-decode-kan dan ditulis ke display buffer dan mungkin buffer lain

Page 16: MPEG video  coding

MPEG-1 Video BitstreamMPEG mendefinisikan hirarki dua tingkatan untuk aliran bit yang

disandikan yakni pada lapisan kompresi dan lapisan sistem.

proses penyandian dari sumbernya, suatu program video analog yang masuk dipisah menjadi komponen-komponen video dan audio. Gelombang-gelombangnya kemudian dicuplik untuk ditransfer ke ranah digital. Berikutnya sebuah fungsi lapisan kompresi MPEG akan menyandikan sikuen audio ataupun video terdigitalisasi yang masuk tersebut.

Fungsi lapisan sistem pada MPEG, pada gilirannya, mengsegmentasi (mempaketisasi) dan memultipleks satu atau lebih dari aliran-aliran bit elementer yang dikompresi tersebut

Hasil resultan aliran bit MPEG kemudian segera dikirim keluar dari sistem sumbernya atau disimpan untuk ditransmisikan lain waktu saat diperlukan

Page 17: MPEG video  coding

1. Sequence LayerTerdiri dari beberapa GOPs, sequence layer dimulai dari sequence header yang berisi informasi tentang gambar seperti ukuran horisontal, vertikal, pixel_aspec_ratio, frame_rate,bit_rate, buffer_size, quantization_matrix dan sebagainya.

2. Group of picture (GOPs) layerGOP terdiri dari satu atau lebih gambar, GOP header terdiri dari informasi tentang time_code yang menjelaskan jam menit detik dimulainya pengurutan.

3. Picture LayerMenggunakan 3 tipe yaitu Intra-coding Picture, Predictive picture, Bidirectional predictive coding.

4. Slice layerSlice memiliki nomer variabel dari makroblok pada gambar tunggal. Panjang dan posisinya di tentukan pada header

5. Macroblock layerSebagian makroblok terdiri dari 4 blok Y, 1 blok Cb, 1 Blok Cr.

6. Block layerJika blok dengan intra-coding, perbedaan DC Coefficient dikirim pertama, mengikuti VLC untuk AC coefficient.

MPEG-1 Video BitstreamMPEG-1 Video Bitstream

Page 18: MPEG video  coding

GOP adalah satu serie dari satu atau lebih gambar untuk membantu random access ke deretan gambar

Kode gambar yang pertama dalam grup adalah I-picture, diikuti dengan susunan P- dan B-pictures

GOP dapat mempunyai panjang sembarang, tetapi paling sedikit satu I-picture dalam tiap GOP

Setiap gambar dibagi dalam satu grup macroblock disebut slices. Slices dapat mempunyai ukuran berbeda dalam sebuah gambar (pembagian satu gambar tidak perlu sama dengan gambar lain)

Slices dibagi kedalam macroblock-macroblock 16 x 16 pixels (sama seperti pembagian GOB ke macroblock pada H.261) Macroblock selanjutnya dibagi kedlam block untuk coding

block adalah bagian terkecil dari struktur gambar pixel 8 x 8 baik untuk komponen luminance maupun chrominance

STRUKTUR CODED VIDEO MPEG-1STRUKTUR CODED VIDEO MPEG-1

Page 19: MPEG video  coding

SupportingInterlaceVideo

tiap frame terdiri dari dua fields,dibedakan atas top field dan bottom field. dibagi ke dalam 16x16 macroblok dan dikodekan menggunakan motion compesation.tiap frame gambar dapat dipisahkan ke dalam 2 field gambar. 16 scanlines garis sebuah frame picture disisi kiri, sebagai lawan untuk 8 scanlines pada setiap dua bagian dari field pada sisi kanan.

T F

O I

P E

L

D

B F

O I

T E

T L

O D

M

Page 20: MPEG video  coding

FRAME PREDICTION UNTUK FRAME PICTURES

• Identik dengan prediksi yang digunakan pada MPEG-1• Tiap P-frame dapat membuat prediksi dari anchor frame sebelumnya• Ada satu motion vector untuk tiap motion compensated macroblock• B-frame dapat menggunakan anchor frame: sebelumnya, yang akan datang atau

interpolasi• Akan ada sampai dua motion vector (forward dan backward) untuk tiap B-frame motion

compensated macroblock

FIELD PREDICTION UNTUK FIELD PICTURES (1)

• Prediksi mode ini sama dengan prediksi frame, kecuali pixel-pixel dari macroblock traget (MB yang akan dikodekan) dari field yang sama

• Prediction MB harus datang dari satu field (top atau bottom field)• Untuk P-pictures prediction MB datang dari dua field (yang paling baru)

• Contoh prediksi MB target pada top field pada P-fame TP, dapat datang dari top field TR atau bottom field BR dari frame referensi

• Prediksi MB target pada bottom field BP diperoleh dari dua field terbaru, top field dari frame yang sama TP atau bottom field dari frame referensi BR

• Untuk prediksi B-pictures MB diambil dari dua anchor picture terbaru (I/P atau P/P). Tiap target MB dapat membuat forward atau backward prediction dari salah satu field

• Akan ada satu motion vector untuk tiap P-field MB target dan dua motion vector untuk B-fileds

Page 21: MPEG video  coding

FIELD PREDICTION UNTUK FRAME PICTURES

• Pada kasus ini MB target pada sebuah frame picture di-split kedalam dua pixel-pixel top-field dan bottom-field

• Field prediction kemudian dilaksanakan secara independen untuk tiap MB target 16 x 8 pixel

• Untuk P-picture, dua motion vector dialokasikan utk tiap MB target 16 x 16 pixel

• Prediksi 16 x 8 dapat diambil dari salah satu dari dua anchor picture terbaru yang sudah di-decode-kan

• 16 x 8 field prediction tidak dapat datang dari frame yang sama, seperti pada kasus field prediction untuk field pictures

• Untuk B-pictures, karena forward dan backward motion, dapat ada dua atau empat motion vector untuk tiap MB target

• 16 x 8 prediction dapat diambil dari salah satu field dari dua anchor pictures terbaru yang di-decodekan

• Macroblock target di-split ke dua block field 16 x 8

16 x 8 MOTION COMPENSATION UNTUK FIELD PICTURES

• Pada mode ini, 16 x 16 pixel field MB di-split ke upper dan lower block 16 x 8 pixels, dan prediksi field terpisah dilaksanakan masing-masing

• Dua motion vector ditransmisikan untuk tiap MB P-picture dan dua atau empat motion vector untuk MB B-picture

(mungkin berguna untuk field picture yang mempunyai iregular motion)

DUAL-PRIME UNTUK P-PICTURES

• Mode ini hanya digunakan pada P-picture dimana tidak ada B-pictures pada GOP• Metoda ini adalah kompromi antara frame ME/MC dan field ME/MC• Menggunakan full motion vector (satu motion vector dikodekan pada bit-stream)

Page 22: MPEG video  coding

MPEG-2

Digunakan dalam encode audio dan video untuk sinyal broadcast, termasuk satellite broadcast langsung dan televisi kabel

Page 23: MPEG video  coding

• Sebagai sistem persandian video, dikembangkan untuk mengimplementasikan semua fitur standar pada dekoder dan bandwith, sebagian kecil standard yang terdiri dari profil dan level.

• Profil tersebut adalah suatu perangkat algorithma dan suatu tingkatan identifikasi suatu parameter penilai ( seperti ukuran gambar dan tingkat tarif bit).

Page 24: MPEG video  coding

MPEG-2 mampu untuk memampatkan bit tingkat standard-definition video 4:2:0 hingga sekitar 3-15 Mbit/S. Di bit yang lebih rendah, pelemahan ini diperkenalkan oleh MPEG-2 coding dan proses memecahkan kode menjadi yang tak dapat disetujui. Karena penyiaran televisi standard-definition video terestrial digital, bitratenya sekitar 6 Mbit/S baik digunakan hingga menjadikan mutu gambar yang baik dan efisiensi transmisi bandwith

Page 25: MPEG video  coding

MPEG-2 Profiles

Abbr. NamePicture Coding

TypesChroma Format

Aspect Ratios Scalable modes

SP Simple profile I, P 4:2:0square pixels, 4:3, or 16:9

none

MP Main profile I, P, B 4:2:0square pixels, 4:3, or 16:9

none

SNRaSNR Scalable profile

I, P, B 4:2:0square pixels, 4:3, or 16:9

SNR (signal-to-noise ratio) scalable

SpatialSpatially Scalable profile

I, P, B 4:2:0square pixels, 4:3, or 16:9

SNR- or spatial-scalable

HP High profile I, P, B 4:2:2 or 4:2:0square pixels, 4:3, or 16:9

SNR- or spatial-scalable

Page 26: MPEG video  coding

MPEG-2 Levels

aAbbr. NameFrame rates

(Hz)

Max horizontal resolution

Max vertical resolution

Max luminance

samples per second

(approximately height x width x

framerate)

Max bit rate in Main profile

(Mbit/s)

LL Low Level23.976, 24, 25,

29.97, 30352 288 3,041,280 4

ML Main Level23.976, 24, 25,

29.97, 30720 576

10,368,000, except in High profile, where constraint is

14,475,600 for 4:2:0 and

11,059,200 for 4:2:2

15

H-14 High 144023.976, 24, 25, 29.97, 30, 50,

59.94, 601440 1152

47,001,600, except that in High profile with 4:2:0,

constraint is 62,668,800

60

HL High Level23.976, 24, 25, 29.97, 30, 50,

59.94, 601920 1152

62,668,800, except that in High profile with 4:2:0,

constraint is 83,558,400

80

Page 27: MPEG video  coding

•BSS Broadcasting Satellite Service (ke dalam rumah) •CATV Distribusi Cabel TV dalam optical networks, tembaga, dll •CDAD Cable Digital Audio Distribution •DAB Digital Audio Broadcasting (yang berkait dengan bumi dan satelit broadcasting) •DTTB Digital Terrestrial Television Broadcast •EC Electronic Cinema •ENG Electronic News Gathering (termasuk SNG, satellite News Gathering) •FSS Fixed Satellite Service •HTT Home Television Theatre •IPC Interpersonal Communication (videoconferencing, videophone, dll) •ISM Interactive Storage Media (optical disk, dll) •MMM Multimedia Mailing •NCA News and Current Affairs •NDS Networked Database Services (via ATM, dll) •RVS Remote Video Surveillance

Aplikasi – aplikasi dari MPEG 2

Page 28: MPEG video  coding

MPEG-2 Scalabilities • SNR Scalability : enhancement layer SNR yang lebih tinggi.•Spatial Scalability : enhancement layer spatial resolution yang lebih tinggi.• Temporal Scalability: enhancement layer fasilitas frame rate lebih tinggi.• Hybrid Scalability : kombinasi dari sclability disebutkan di atas.• Data Partitioning

•video telecommunication•video on ATM•interworking video standards•video service hierarchies dengan multiple spatial

Di bidang non telekomunikasi

penggambarannya berdasarkan suatu base layer (untuk memuat informasi video yang vital) dan enhancement layer (memuat informasi residual untuk meningkatkan kualitas image base layer (dihilangkan saat congesti)

Page 29: MPEG video  coding

BEBERAPA CONTOH APLIKASI MACAM-MACAM SCALABILITY

Page 30: MPEG video  coding

DATA PARTITIONING• Digunakan jika tersedia dua kanal untuk transmisi/storage bit-stream video (mis. ATM, broadcasting

terrestrial, magnetic media, dll)

• Tidak betul-betul scalable coding membagi bit-stream dari single layer non-scalable MPEG-2 ke dalam dua bagian/layer

• Layer pertama berisi bagian kritis dari bit stream (mis. header, motion vector, koefisien DCT orde rendah) ditransmisikan pada kananl dengan performansi error lebih baik

• Layer kedua untuk data yang kurang kritis (mis. Koefgisien DCT orde tinggi) ditransmisikan pada kanal dg performansi error lebih jelek

• Degradasi terhadap error kanal diminimumkan karena bagian kritis data diproteksi lebih baik

• Data yang diekstrak dari layer kedua decoder tidak dapat digunakan kecuali base layer data yang telah di-decode tersedia

Blok diagram Data Partitioning Encoder

• Pada encoder, dalam kuantisasi dan zigzag scanning dari tiap koefisien DCT 8 x 8, scanning dipecah pada Priority Break Point (PBP)

Page 31: MPEG video  coding

SNR SCALABILITY• SNR scalability ditujukan untuk aplikasi video dalam telekomunikasi

dan multiple quality video services dengan standard TV dan enhanced TV

• SNR scalability membangkitkan dua layer video dengan resolusi spatio-temporal sama tetapi kualitas video berbeda dari satu sumber video

• Base layer menyediakan kualitas video basic yang dikodekan sendiri

• Enhancement layer dikodekan untuk meningkatkan base layer• Enhancement layer jika ditambahkan kembali ke base layer

menghasilkan reproduksi video input dengan kualitas lebih tinggi

meningkatkan SNR SNR scalability• SNR scalability disebut juga amplitude scalability atau quantisation

noise scalability

SPATIAL SCALABILITY• Membangkitkan video stream dua resolusi spatial dari satu sumber video• Base layer menyediakan resolusi spatial dasar• Enhancement layer memberikan resolusi spatial penuh dari input video• Base dan enhancement layer keduanya dapat menggunakan coding tools

- MPEG-2 atau

- MPEG-1 untuk base layer dan MPEG-2 untuk enhacement layer atau

- (bahkan) H.261 untuk base layer dan MPEG-2 untuk second layer• Spatial scalability menawarkan fleksibilitas dalam pemilihan format video untuk

digunakan pada tiap layer

Base layer: SIF atau resolusi gambar lebih rendah pada format 4:2:0,

4:2:2 atau 4:1:1,dan second layer tetap CCIR-601 dengan format 4:2:2• Seperti scalable coder lain, spatial scalability tahan terhadap error transmisi

data penting pd lower layer dibawa dg kanal performansi error lebih baik

Page 32: MPEG video  coding

TEMPORAL SCALABILITY

• Digunakan pada macam-macam aplikasi pada sistem dimana migrasi ke sistem resolusi temporal lebih tinggi mungkin diperlukan

• Sistem video temporal resolusi lebih rendah dapat berupa sistem eksisting atau generasi awal yang lebih murah

• Temporal scalability mencakup partisi frames ke layers dimana:

- base layer dikodekan sendiri memberikan basic temporal rate dan

- enhancement layer dikodekan dg temporal prediction thd base layer

• Layer-layer dapat mempunyai resolusi yang sama atau berbeda,

jika dikombinasikan memberikan resolusi temporal penuh pada decoder

• Video encoder dari dua layer dapat berbeda

interworking dengan generasi sistem yang lebih awal

Page 33: MPEG video  coding

TEMPORAL SCALABILITY

Page 34: MPEG video  coding

HYBRID SCALABILITY

• MPEG-2 membolehkan kombinasi dari ability, seperti spatial, SNR atau temporal untuk membentuk hybrid scalability untuk aplikasi tertentu

• Jika dua scalabilities dikombinasikan, maka akan ada tiga layer yang dibangkitkan yang disebut base-layer, enhancement-layer-1, dan enhancement-layer-2

• Dalam hal ini enhancement-layer-1 adalah layer yang lebih rendah relatif dibandingkan dengan enhancement-layer-2, karenanya decoding layer-2 memerlukan ketersediaan dari enhancement layer-1

• Beberapa konfigurasi hybrid scalability dapat dibentuk

Page 35: MPEG video  coding

Perbedaan antara MPEG-1 dengan MPEG-21. MPEG-2 memiliki bit error yang lebih sedikit dibandingkan MPEG-12. Standard MPEG-1 : coding audio dan video untuk storage. Standard MPEG-2 : aplikasi audio-visual coding generic.3. Pada MPEG-1 error rate media kecil karena tidak dirancang tahan bit error rate, sedangakan pada MPEG-2 tahan error untuk broadcasting dan jaringan ATM.4. Pada MPEG-1 software orirnted artinya paket panjang dan variabel (mengurangi overhead), sedangakan pada MPEG-2 mengirimkan multiple program secara simultan artinya panjang paket transport MPEG-2 pendek dan tetap.5. Menyediakan fitur yang tidak didukung MPEG-1 (scrambling data, prioritas paket, indikasi copyright, dll)

Page 36: MPEG video  coding

PERBEDAAN MPEG-2 DAN MPEG-1

• Resolusi gambar dari SIF (352 x 288 x 25 atau 30) sampai HDTV (1920 x 1250 x 60)

• interlaced video (disamping progressive)

• Scalability

• Motion estimation/compensation (field ME/MC)

• Kuantisasi linier dan non-uniform dari koefisien DCT

• Pilihan alternate scanning

• Huffman coding terpisah untuk intracoded macroblock, dll

Page 37: MPEG video  coding

MPEG-4

Digunakan untuk memaparkan objek-objek yang bentuknya berubah-ubah dalam deretan gambar video.

MPEG-4 menekankan pada pewaktuan dan sinkronisasi dari objek

memiliki teknik multiplexing dan sinkronisasi bitstream untuk entitas medianya sehingga dapat dikirimkan dengan spesifikasi Quality of Service (QoS)

Bit-rate MPEG-4 video antara 5 kbps sampai 10 Mbps.

Page 38: MPEG video  coding

Konsep MPEG-4

MPEG-4 mendefinisikan Binary Format for Scene sebagai pemberi fasilitas kompresi media objek sehingga menjadi sebuah scene. BIFS merupakan bagian dari Virtual Reality Modeling Language (VRML). MPEG-4 menekankan pada pewaktuan dan sinkronisasi dari objek, akan tetapi hal ini kurang dapat ditemukan pada original desain VRML sehingga VRML diganti dengan BIFS.

Struktur hirarki dari MPEG-4 visual bitstream sangat berbeda dengan jenis MPEG-1 dan MPEG-2, dimana dalam MPEG-4 terdapat banyak sekali video yang berorientasi objek didalamnya.

Page 39: MPEG video  coding

Cara Kerja VOP (video object planes) Snapshot suatu VO pada momen tertentu, yang

mencerminkan VO dari bentuk, tekstur, dan parameter gerakan pada saat tertentu.

Secara umum, suatu VOP adalah suatu gambaran dari bentuk yang berubah-ubah. Pengkodean video MPEG 4 terjadi ketika, seluruh frame video diperlakukan sebagai suatu VOP.

MPEG 4 melebihi VOP yang dapat secara parsial dalam suatu scene lain

Page 40: MPEG video  coding

Menggambarkan bagaimana MPEG-4 video yang tersusun dari beberapa bagian dan dapat dimanipulasi dengan operasi sederhana seperti penyisipan, penghapusan, perputaran, skala pada objek visual.

Bagian-bagian gambar di kodekan menjadi beberapa VOP, lalu di decodekan menjadi gambar hasil manipulasi dengan menyisipkan sebuah gambar baru.

Page 41: MPEG video  coding

Object-Based Visual Coding in MPEG-4Sebuah scene ditampilkan sebagai sebuah komposisi dari video object (VO) dengan properties hakiki seperti shape, motion, dan texture.

Object-based coding video frame atau dalam istilah layer dari video object planes (VOP). Tiap video object plane dari specific object yang di code-kan, atau dipengaruhi untuk aplikasi coding, background di code-kan hanya sekali, dan objek plane lainya di encode kemudian.

Page 42: MPEG video  coding

Pada gambar menunjukkan tiga buah frame dari suatu urutan video dari gambar mobil yang bergerak ke arah yang kiri dan seorang pejalan kaki yang masuk dari arah sebaliknya

Page 43: MPEG video  coding

menunjukkan blok yang khas berdasarkan persandian di mana arah garis vektor gerakan diperoleh pada salah satu macroblock

Page 44: MPEG video  coding

Menggambarkan dua buah pencocokkan yang menghasilkan kesalahan kecil. Potensial 2 menghasilkan kesalahan ramalan lebih kecil dibanding pencocokkan potensial 1, dimana MV2 akan memberikan isyarat masuk pada garis vektor untuk macroblok blok didasarkan pendekatan persandian, walaupun MV 1 yang searah dengan gerakan mobil

Page 45: MPEG video  coding

Menunjukkan masing-masing VOP menjadi bentuk yang berubah-ubah dan akan idealnya VOP maka memperoleh suatu gerakan unik vektor yang konsisten dengan gerakan obyek

Page 46: MPEG video  coding

Menunjukkan suatu gambaran tentang pemandangan yang diambil dari suatu video. Kombinasi latar belakang dengan gambar lain di dalam bluescreen, menghasilkan video yang baru yang siap dikodekan dengan bantuan kode. Pada suatu bagian, object dapat menjadi video yang asli atau yang baru untuk merealisir obyek fleksibel berdasarkan komposisi MPEG 4 video

Page 47: MPEG video  coding

Face object modelRepresentasi sintetik dari wajah manusia dengan menerapkan 3D dari polygon meshes sehingga objek dapat dianimasikan dalam video.

Body object modelRepresentasi sintetik dari tubuh manusia dengan menerapkan 3D dari polygon meshes sehingga objek dapat mensimulasikan gerakan tubuh dari objek tertentu.

Page 48: MPEG video  coding

memastikan interoperabilitas antara implementasi dan membiarkan uji coba conformance ke standar

Profil Level Typical picture size Bitrate

(bit/sec)

Max number of

objects)

Simple1

2

3

176 x 144(QCIF)

352 x 288 (CIF)

352 x 288 (CIF)

64 k

128 k

384 k

4

4

4

Core 1

2

176 x 144 (QCIF)

352 x 288 (CIF)

384 k

2 M

4

16

Main1

2

3

352 x 288 (CIF)

720 x 576 (CCIR601)

1920 x 1080 (HDTV)

2 M

2M

38.4 M

16

32

32

Page 49: MPEG video  coding

CIF (352 X 288) didukung dalam empat level (level 2 dan 3 di simple profil, level 2 di core profil, dan level 1 di main profil), bitrates yang sangat berbeda dan angka-angka objek maksimum ditetapkan. Sehingga diharapkan berbagai kualitas yang berbeda untuk CIF video.

Daftar dari tingkatan level yang didukung oleh tiga profil visual yang paling umum: Simpel, Core dan Main.

Page 50: MPEG video  coding

Tools Tipe Objek

Simple Core Main Simple Scalable N-bit Scalable still

texture

Basic MC-based tools X X X X X

B-VOP X X X X

Binary Shape Coding X X X

Gray-level shape coding X

Sprite X

Interlace X

Temporal Scalability

(P-VOP)

X X X

Spatial and temporal scalability

(rectangular VOP)

X

N-bit X

Scalable stiil texture X

Error resilience X X X X X

Page 51: MPEG video  coding

Tipe Objek Profiles

Simple Core Main Simple

Scalable

N-bit Scalable

texture

Simple X X X X X

Core X X X

Main X

Simple

scalable

X

N-bit X

Scalable still

texture

X X

Page 52: MPEG video  coding

MPEG-4 Part 10/H.264

Dikembangkan oleh Joint Video Team (JVT) dari ISO/IEC MPEG dan ITU-T VCEG (Video Coding Experts Group

H.264 menawarkan sampai dengan 50% kompresi yang lebih baik dibanding MPEG-2 dan sampai dengan 30 % lebih baik daripada H.263 + dan MPEG-4 advanced simple profile

Page 53: MPEG video  coding

Aplikasi MPEG-4

Target aplikasi MPEG-4 berkisar dari laju bit rendah untuk aplikasi Internet telepon sampai laju bit tinggi untuk aplikasi sistem video dan audio.

Video digital konvensional maupun interaktif dengan bit rate berkisar dari 5 kbps hingga 4 Mbps.

Standard MPEG-4 memungkinkan jangkauan aplikasi yang lebih luas seperti interactive mobile visual communication.

Televisi digital, Multimedia interaktif (World Wide Web/w.w.w) serta aplikasi grafis interaktif.

Page 54: MPEG video  coding

MPEG - 7Merupakan perkembangan MPEG sebelumnya yaitu

perkembangan MPEG 1,2,4.

Tujuh komponen standar MPEG-7 untuk

mendeskripsikan isi multimedia adalah Sistem,

Description Definition Language (DDL),features,

Visual, Audio,Mul timedia Content Description

Interface, Acuan Perangkat lunak, dan

Conformance.

Page 55: MPEG video  coding

fitur konten yang yang diekstrak akan menghasilkan deskripsi MPEG-7 yang terdiri dari DS,DSs, dan DDL. Deskripsi MPEG-7 tersebut kemudian di encoder sehingga menghasilkan deskripsi code dengan metode transcoding. Kode dikirim ke penyimpanan dan media transmisi. Kemudian data yang telah tersimpan dapat di cari melalui media internet sedangkan agen akan menyaring banyak material data mendorong ke terminal sehingga para pemakai dari sistem komputer dan aplikasi dapat mengkonsumsi data tersebut.

Page 56: MPEG video  coding

MPEG-7 menyediakan cara untuk menstandardisasi metadata untuk rangkaian multimedia audio visual.

MPEG-7 ditujukan untuk menghadirkan informasi tentang informasi multimedia.

• Contoh aplikasi yang didukung oleh MPEG-7 adalah Automatic Speech Recognition (ASR) atau pengenalan suara otomatis.

Page 57: MPEG video  coding

Elemen data MPEG-7 ini dapat diwakili dalam

textual atau format biner, atau kedua-

duanya. Misalkan bagian 1 (Sistem)

menetapkan sintaks tentang format biner

untuk data MPEG-7. Bagian 2 (Description

Definition Language) menetapkan sintaks

dari textual format yang mengadopsi skema

XML saat bahasanya menjadi pilihan

Page 58: MPEG video  coding

Descriptor

Descriptor Scheme (DS)

menguraikan kedua features tingkat rendah, seperti warna, penampilan, bentuk, dan gerakan, dan features tingkat tinggi tentang semantic object, seperti peristiwa dan konsep abstrak

menyediakan suatu ikhtisar ringkas dari Description Schemes (DSs) MPEG-7 dalam daerah yang dimulai dari elemen dasar, manajemen isi, deskripsi isi, navigasi dan akses, organisasi isi, dan interaksi pemakai.

Elemen standar utama MPEG-7

Page 59: MPEG video  coding

Descriptor Definition Language (DDL)

• MPEG-7 mengadopsi Skema Bahasa XML yang pada awalnya dikembangkan oleh WWW Consortium ( W3C) sebagai Description Definition Language

( DDL). Sejak Skema Bahasa XML tidak dirancang terutama untuk isi dari audiovisual

• Sistem yang diperlukan untuk efisiensi yang mengangkut penyimpanan agar terjadi sinkronisasi diantara isi dan uraian serta untuk mengatur dan melindungi alat yang digunakan.

System tools

Page 60: MPEG video  coding

DESCRIPTOR LOW LEVEL

• Color – Color space– Color quantization– Dominant color– Scalable color– Color layout– Color structure– Group of frames/group of picture

Page 61: MPEG video  coding

• Texture– Homogeneus texture– Texture browsing– Edge histogram• Shape region based shape Countour based shape 3D shape

Page 62: MPEG video  coding

• MOTION– Camera motion– Object motion trajectory– Parametric object motion– Motion activity

Page 63: MPEG video  coding

• menunjukkan suatu segmen video angkatan laut. Dimana seseorang diturunkan dari helikopter menuju ke kapal. Tiga gerakkan tersebut direkam dalam daerah segmen video. suatu grafik segmen dapat terstruktur dengan baik sesuai dengan komposisi bingkai video ketiga gambar diatas. Daerah segmennya berupa moving region (daerah bergerak) masing-masing gambar.

Page 64: MPEG video  coding

Description scheme• Basic elements

– Data types dan mathematical structures– Constructs– Schema tools• Content management media description Creation and production description Content usage descriptions

Page 65: MPEG video  coding

• Content description– Structural description– Conceptual description• Navigation and access Summaries Partitions and decompositions• Content organization

Collectionsmodels

Page 66: MPEG video  coding

• User interface– User preference

Page 67: MPEG video  coding

Description definition language

• Xml (Experimentation Model Language) schema structure components

• Xml schema datatype components• Mpeg-7 extension

Page 68: MPEG video  coding

MPEG - 21

MPEG-21 bertujuan mendefinisikan sebuah

kerangka untuk membuka aplikasi multimedia.

Secara khusus, MPEG-21 mendefinisikan "Hak

Ekspresi Bahasa" standar sebagai sarana untuk

berbagi hak digital atau perizinan atau larangan

untuk konten digital dari pencipta konten untuk

konsumen

Page 69: MPEG video  coding

• Pada tingkat paling dasar, MPEG-21 menyediakan sebuah kerangka di mana satu Pengguna dapat berinteraksi dengan pengguna lain dan objek yang merupakan interaksi digital biasa disebut jenis konten.

• Beberapa interaksi tersebut adalah membuat konten serta menyediakan konten, pengarsipan konten, peringkat konten, meningkatkan dan menyampaikan konten, diagregasi konten, pengiriman konten, syndicating konten, ritel penjualan konten, mengkonsumsi konten, untuk berlangganan konten, mengatur konten, memfasilitasi transaksi yang terjadi dari salah satu di atas, dan

• mengatur transaksi yang terjadi.

Page 70: MPEG video  coding

Moving Picture Expert Group-21 (Moving Picture Expert Group-21 (MPEG-21MPEG-21

Pengembangan standard yang paling baru, MPEG-21: Multimedia

Framework dimulai Pada bulan Juni 2000.

VISIVISI

Menggambarkan kerangka multimedia yang memungkinkan transparansi dan penambahan penggunaan multimedia ke suatu cakupan yang luas melalui jaringan dan alat yang digunakan oleh masyarakat

Page 71: MPEG video  coding

Enam unsur-unsur penting dalam MPEG-21 adalah:

•Deklarasi item digital, untuk menetapkan keseragaman yang

fleksibel dan bagan interoperable untuk mengumumkan materi

digital.

•Deskripsi dan identifikasi item digital, untuk menetapkan suatu

kerangka deskripsi standar dan identifikasi tentang materi digital,

dengan mengabaikan asal mereka, jenis, atau granulasi.

•Manajemen isi dan pemakaian, untuk menyediakan suatu alat

penghubung dan protokol yang memudahkan manajemen dan

penggunaan (pencarian, caching, archiving, pembagian, dll.) tentang

isi.

Page 72: MPEG video  coding

• Intellectuall Property Management and Protection (IPMP), untuk

memungkinkan indeks sehingga dapat diatur dan dilindungi.

• Terminal dan Jaringan, untuk menyediakan akses transparan dan

interoperable ke isi dengan Quality of Service (Qos) ke suatu cakupan

yang luas melalui jaringan dan terminal.

• Penyajian Isi, untuk menghadirkan isi suatu cara yang baik untuk

mengejar sasaran MPEG-21 yaitu content anytime anywhere.

Page 73: MPEG video  coding

KESIMPULAN

• MPEG-1 merupakan standar pengompresan suara dan gambar pada Video CD termasuk juga sebagai lapisan audio 3 (audio layer 3) MP3 format kompresi untuk suara (audio).

• MPEG-2 merupakan standar untuk penyiaran suara dan gambar over-the-air televisi digital ATSC, DVB dan ISDB, satelit televisi digital Dish Network, sinyal digital cable television dan juga DVD

• MPEG-4 merupakan pengembangan dari MPEG-1 untuk mendukung objek suara atau gambar televisi tiga dimensi (3D)

• MPEG-7 merupakan standar suatu sistem formal untuk menggambarkan isi dari suatu multimedia.

• MPEG-21 merupakan standar MPEG untuk generasi masa depan (rangka multimedia)

Page 74: MPEG video  coding

SARAN

1. Penggunaan MPEG dapat berfungsi secara maksimal terutama pada bidang multimedia.

2. Diharapkan agar MPEG dapat berkembang sesuai dengan perkembangan Iptek, sehingga pengguna dapat lebih merasakan manfaatnya.

3. Diharapkan MPEG dapat memberikan kualitas gambar dan suara yang lebih baik sesuai dengan perkembangannya.

Page 75: MPEG video  coding

mohOn maap deNGansaLah kaTa…manusiA tidaK sempuRnajangAn diamBiL pusiNktaKe it easY…Happy discuss