Ringkasan UAS Database Administration -...

E – Learning BSLC, by: Timothy Orvin Edwardo 1901456205

Ringkasan UAS Database Administration

1. Index adalah object pada sistem database yang mempercepat

pencarian data berdasarkan kolom tertentu.

2. Index ini mirip ibarat di kamus (terurut, clustered index), dan tidak

terurut secara fisik, namun dibelakang layar terurut (non –

clustered index). Tujuan dari index adalah :

• Index mengizinkan SQL Server untuk melokasikan dan

retrieve data.

• Retrieve data secepat mungkin ketika data diminta dalam

sebuah query.

• Contoh analogi jika tidak menggunakan index : jika ada 500

halaman pada buku dan tidak ada table of content, maka

akan sulit mencarinya (harus dicari satu per satu halaman).

Hal ini sama dengan tabel SQL database. Akan time –

consuming dan resource intensive.

• Index bisa diklasifikasikan dalam beberapa cara, tergantung

dari cara menyimpan data, struktur internal, tujuannya, dan

cara definisinya.

• Contoh query membuat index SQL : CREATE INDEX user_idx

ON Users (user_id);

3. Kita menggunakan index ketika :

• Kolom sering digunakan dalam clause WHERE atau JOIN.

• Kolom berisi nilai dengan jangkauan yang luas.


• Kolom berisi banyak nilai NULL.

• Tabel berukuran besar.

• Menampilkan beberapa record yang bersifat rutinitas.

4. Tipe – tipe indexing :

• Rowstore index

➢ Index tradisional dimana data di store sebagai row di

data pages.

• Clustered index

➢ Menyimpan dan mengurutkan tabel leaf – level data

berdasarkan key column.

➢ Hanya boleh 1 cluster index per tabel.

➢ Data bisa diurut dalam 1 bentuk urutan.

➢ Clustered index merepresentasikan tabel data aktual.

➢ Clustered index dibuat secara default ketika definisi

tabel termasuk Primary Key constraints.

• Non clustered index

➢ Mengandung index key value dan row locator yang

point ke data row aktual.

➢ Jika tidak ada clustered index, row locator adalah

RowID pointer ke data row.

➢ Jika ada clustered index, row locator adalah clustered

indexnya.

➢ Optimisasi untuk query.

➢ Meningkatkan query response time.

➢ Mengurangi size index.

• Covering index


➢ Index yang bisa memenuhi semua field yang

dibutuhkan untuk query tertentu.

➢ Non clustered index bisa mengandung kolom non key

di leaf level untuk membantu cover query

menggunakan INCLUDE di CREATE INDEX.

➢ Meningkatkan performa dan mengurangi operasi I/O.

• Filtered index

➢ Menggunakan klausa WHERE untuk indikasi row mana

yang akan di index.

➢ Selalu merupakan non clustered index.

➢ Mempercepat pembacaan tabel untuk kelompok row

terpilih karena ada lebih sedikit index yang dibaca.

➢ Dataset lebih kecil.

• Column based index

➢ Index yang dibuat di single column.

➢ Ada 2 tipe : columnstore dan XML.

• Memory optimized index

➢ Mengurutkan data yang diakses dari tabel memory –

optimized.

➢ Dibuat dengan statements CREATE TABLE dan CREATE

INDEX.

➢ Dibuat untuk range – ordered scan (volume data besar

yang diurutkan).

➢ Dibuat ketika in – memory table diload ke memory.

• Columnstore index


➢ Index row value dibuat untuk setiap kolom, semua

index digabungkan untuk representasi base data

storage tabel tersebut.

➢ Kemampuan kompresi tinggi, handle dataset besar.

➢ Bisa index subset kolom di tabel.

➢ Bisa diupdate dengan rebuilding index.

➢ Bisa digabung dengan index lain di tabel.

➢ Butuh space lebih untuk copy kolom di index yang

terpisah dari row values.

➢ Pada SQL 2014, bisa diupdate dengan keterbatasan :

o Clustered columnstore index tidak bisa punya

non clustered index.

o Tabel yang menyimpan clustered columnstore

index tidak bisa digunakan untuk replikasi.

o Tabel yang menyimpan clustered columnstore

index tidak bisa mengubah data capture.

o Tidak bisa punya FILESTREAM yang terhubung

dengan ini.

• XML index

➢ Index value disimpan dalam kolom XML.

➢ Index membagi kolom XML dan menyimpan detail

untuk retrieval yang lebih cepat.

➢ Ada 2 tipe :

o Primary index index semua tag, value, dan

path kolom XML.


o Secondary index bisa dibuat di kolom XML

yang menyediakan indexing tambahan untuk

path, value, properti di primary index.

• Full index

➢ Menyediakan fitur full text search di SQL Server.

➢ Mengizinkan user dan aplikasi untuk query character –

based data di tabel SQL Server.

➢ Index full text harus dibuat di tabel sebelum bisa

dimasukkan kedalam full text search.

• Spatial index

➢ Kolom index data spasial, dimana mengandung value

GEOMETRY atau GEOGRAPHY.

➢ Mendukung operasi yang dilakukan pada data spasial,

seperti method built – in geography.

5. Replikasi mendistribusikan data antar server.

6. Pada replikasi ada 3 roles :

• Publisher database instance yang merupakan sumber dari

article yang akan dipublish.

• Distributor medium / penghubung dimana data yang

didapat dari publisher akan dikirim ke subscriber. Disini

distributor store data untuk direplikasi dari publisher, serta

store lokasi snapshot.

• Subscriber database instance yang merupakan tujuan

articles dipublish. Dalam beberapa model replikasi,

subscriber bisa juga sebagai publisher. Subscriber bisa


republish articles ketika harus dikirim ke subscriber lain di

updating subscriber model atau dalam peer – to – peer

model.

7. Replication data :

• Article set data terkecil yang bisa dikonfigurasi untuk

replikasi. Bisa mengandung tabel, view, stored procedure

dan bisa memiliki restriction tambahan di baris dan kolom

tiap article.

• Publication pengelompokkan articles yang dipublish

bersama. Jika enabled, replikasi secara logika

mengelompokkan article yang akan dimanage bersama.

• Subscription request untuk menerima data dari satu atau

lebih publikasi. Bisa menambah constraint tambahan untuk

publikasi terkait bagaimana dan kapan data didistribusikan.

8. Replication agent :

• Snapshot agent mengambil dan apply snapshot untuk 3

tipe replikasi : transactional, merge, snapshot.

• Log reader agent dieksekusi oleh SQL Agent job yang

membaca transaction log publisher dan merekam transaksi

untuk setiap article yang dipublish ke distribution database.

• Distribution agent membaca transaksi yang ditulis ke

distribution database dan apply ke subscribing database

untuk replikasi transactional.

• Merge agent dieksekusi oleh SQL agent job yang

memindahkan perubahan di publisher ke subscriber,


subscriber ke publisher, dan menengahi conflict – resolution

process jika diperlukan.

• Queue reader agent digunakan untuk membaca pesan

yang stored di SQL Server queue atau Microsoft Message

Queue. Kemudian apply pesan tersebut ke publisher.

9. Replication maintenance :

• Agent history cleanup menghapus replication agent

history yang distore di distribution database. Dijadwalkan

berjalan tiap 10 menit.

• Distribution cleanup menghapus transaksi dari

distribution database setelah tidak dibutuhkan. Dijadwalkan

berjalan tiap 10 menit.

• Expired subscription cleanup menentukan snapshot telah

expired dan menghapusnya. Dijadwalkan berjalan tiap hari

jam 1 pagi.

• Reinitialize failed subscriptions melihat subscription yang

gagal, dan menandai mereka untuk reinisialisasi.

• Replication agent monitor monitor eksekusi SQL Agents,

dan menulis ke windows event log ketika job step gagal.

Dijadwalkan berjalan tiap 10 menit.

• Replication agents checkup monitor eksekusi replikasi

agents di distributor untuk check replications agents

berjalan, tapi tidak logged ke history.

10. Jenis replikasi :


• Snapshot replication mengambil snapshot publikasi dan

membuat tersedia ke subscriber. Ketika period snapshot

refresh, article tidak dapat digunakan. Cocok untuk static

data atau article kecil.

• Transactional replication mereplika perubahan ke article

ketika terjadi. Mengizinkan sinkronisasi data yang cepat

dengan latency kecil. Ocok ketika kita ingin incremental

change yang terjadi secara cepat pada publisher.

• Merge replication digunakan saat koneksi jaringan lemah

antara publisher dan subscription.

11. Replication model :

• Single publisher

• Single publisher dengan subscription database


• Multiple publisher dengan single subscriber

• Multiple publisher subscribing model


• Peer – to – peer

12. Clustering pengelompokkan server independent yang

mengandung 2 atau lebih server fisikal (nodes).

• Bekerja bersama sebagai single server.

• Satu merupakan active node dan yang satunya passive node.

• Active node tempat SQL Server terinstall dan running.

• Passive node tempat SQL Server terinstall tapi tidak

running.


13. Kelebihan clustering :

• Meningkatkan ketersediaan SQL instances.

• Mengurangi downtime.

14. Kita harus menggunakan clustering ketika :

• Cost downrtime sangat tinggi.

• Requirement terhadap high availability.

• Sudah mempunyai proteksi storage dengan redundancy.

15. Quorum :

• Disk quorum log file untuk merekam perubahan yang

dibuat pada active node. Lalu passive node akan membaca

quorum sebelum passive node ini aktif.

• Setiap cluster quorum bisa vote untuk menentukan cluster

bisa lanjut berjalan atau tidak. Ini berfungsi untuk

menghindari lebih dari 1 cluster node dari mencoba untuk

mengambil kepemilikkan dari SQL Server instance yang

sama.

16. Clustering options ada 3 :

• Single – instance cluster 2 node cluster dimana hanya ada

1 instance SQL Server yang aktif. Jika ada kegagalan pada

active node, yang passive akan aktif menjadi active node.

• Multi – instance cluster 2 node cluster, tetapi ada 2

instance SQL Server yang aktif, yaitu pada setiap node fisikal

pada cluster.


• Multi – node cluster digunakan dalam multi – clustered

server environment.

17. Infrastruktur yang dibutuhkan untuk melakukan clustering :

• Jaringan :

➢ Setidaknya ada 1 active directory controller. Idealnya

dua untuk redundancy.

➢ 1 DNS Server dan idealnya 2 untuk redundancy.

➢ Switch port untuk public network card digunkan pada

node.

➢ IP adress yang aman untuk public network card, atau

gunakan DHCP.

• Pilih antara menggunakan direct network card – to –

network card menggunakan crossover cable atau hub atau

switch.

• Hub atau switch harus berbeda dari yang mendukung public

network redundancy.

• Membuat SQL Server service account untuk digunakan SQL

Server pada cluster. Password harus never to expire.

• Windows Server 2012 R2 dengan failover clustering.

18. Cara clustering SQL Server :

• Install SQL Server instance ke Windows Failover Cluster.

• Tambahkan node untuk bergabung dalam SQL Server cluster

instance.

19. Manage dan monitoring cluster :


• Login ke active server atau remote log untuk akses SQL

Server shared data disk.

• Menggunakan remote desktop untuk menghubungkan

cluster menggunakan SQL cluster network name atau IP

address.

20. Troubleshooting pada clustering :

• Menghindari masalah :

➢ Pastikan hardware dan shared disk lolos cluster

validation.

➢ Pastikan menggunakan hatdware dan software dan

service packs terbaru.

➢ Develop menggunakan Windows Failover Cluster

runbook untuk identifikasi state, konfigurasi, dan

instruksi agar konsisten dan stabil.

• Mencari informasi :

➢ Mengetahui apa yang akan terjadi.

➢ Mengetahui apa yang terjadi sebelum masalah.

➢ Mengetahui apakah masalah berulang.

➢ Mencatat error messages.

➢ Mencari melalui internet mengenai error messages.

➢ Melihat log.

• Logs :

➢ Cluster log (C:\Windows\Cluster\Cluster.log)

➢ SQL Server setup log files (C:\Program-files\Mcrosoft

SQL Server\120\SetupBootstrap\LOG\Symmary.txt)


21. Tips dan saran pada clustering SQL Server :

• Invest waktu menentukan right naming convention.

• Hindari meletakkan banyak node di 1 SQL cluster.

• Jangan asumsikan aplikasi akan reconnect dengan baik

setelah failover.

• Evaluasi ulang SQL Server Configuration settings.

22. Failover clustering instances dan AlwaysOn Availability

Group adalah 2 strategi untuk membuat Microsoft SQL Server

2014 highly available.

23. Failover clustering memastikan database tetap tersedia

ketika server failure.

24. AlwaysOn Availability Group penggantian teknologi di

SQL Server 2012 yang berkaitan dengan teknologi failover

clustering.

25. Quorum modes :

• Node majority lebih dari satu setengah voting node di

cluster harus vote untuk cluster untuk lebih baik.

• Node dan file share majority sama seperti node majority,

hanya remote file share juga dikonfigurasi sebagai votting

witness dan konektivitas dari semua node ke share dihitung

sebagai vote.

• Node dan disk majority sama seperti node majority,

hanya shared disk cluster resource juga dirancang sebagai


votting witness dan konektivitas dari semua node ke shared

disk dihitung sebagai vote.

• Disk only shared disk cluster resource dirancang sebagai

witness dan konektivitas semua node ke shared disk

dihitung sebagai vote.

26. Arsitektur clustering :

27. Jenis – jenis backup :

• Full backup copy semua data di database partial backup

termasuk transaction log. Pada restore, dari full database

backup, semua database file juga direstore.

Windows Server Failover Clustering (WSFC) Cluster

WSFC Quorum Witness Remote File Share (Optional)

Network Subnet A Network Subnet B

Node B1

SQL Server Instance 3

Storage

Node B2


Storage

InstanceNetwork Name


WSFC Configuration

WSFC Configuration

Node A3


Storage


WSFC Configuration

Node A2Node A1

SQL Server Failover Cluster Instance 1

Shared Storage


WSFC Configuration

WSFC Configuration

AlwaysOn Availability Group

Availability Group Virtual Network Name

Secondary Replica

Primary Replica

Secondary Replica

Secondary Replica

Availability Group Listener


• Partial backup copy hanya bagian dari database yang

mengalami perubahan.

• File / filegroup backup copy file / filegroup yang terpilih

dari database. Tabel dan index harus dibackup di backup

yang sama. Biasanya butuh transaction log.

• Differential backup copy semua data yang berubah sejak

full backup terakhir. Ketika restore, restore full database

backup terakhir dan differential backup terbaru.

• Partial differential backup mirip differential backup hanya

saja match ke data dari partial backup. Merupakan copy dari

semua yang dimodifikasi sejak partial backup terakhir.

• File differential backup copy file / filegroup yang

dimodifikasi sejak file / filegroup backup terakhir.

Transaction log dibutuhkan untuk baca / tulis file / filegroup.

Setelah restore harus restore transaction log.

• Copy – only backup copy database untuk testing /

development tanpa berefek pada proses restore. Bisa

digunakan untuk database atau transaction log.

28. Database copy dengan cara attach / detach untuk

memindahkan database ke server baru.

29. Bulk copy program menggunakan script sederhana dan

ekspor semua data dari database.

30. Recovery model :


• Full recovery model transaction log merekam semua

modifikasi data, menyediakan semua database recovery

options dan mengimplementasikan proteksi data tertinggi

ketika menggunakan hampir seluruh space transacton log.

• Bulk – logged recovery model menjalankan minimal

logging untuk operasi database tertentu termasuk bulk

import operations.

31. Backup compression :

• Copy file didalam bentuk compressed.

• Compression mengurangi waktu backup.

32. Restore process :

• Full database restore memilih ingin overwrite database

saat ini, atau database ingin tetap dalam mode operasi, atau

mengizinkan additional restore.

• Transaction log restore membutuhkan full database

backup / file backup / filegroup backup sebagai dasar.

Setelah itu apply differential restore, lalu apply semua

transaction log backup dalam urutan (yang data lama

duluan) untuk membawa database ke point in time.

• Partial database restore mengandung primary filegroup,

semua read/write filegroup, semua read – only filegroup

yang ditentukan.

• File / filegroup restore (piecemeal restore) restore

primary filegroup dengan keyword PARTIAL. Lalu restore

filegroup lainnya.


• Database snapshot restore mengambil read – only dan

point in time copy dari database. Biasanya digunakan ketika

mau membuat urutan perubahan ke database dan

mengembalikan ke versi asli berkaitan dengan perubahan.

• History table restore restore metadata yang merupakan

bagian dari msdb database restore. Metadata mengandung :

➢ Dbo.restorefile mengandung 1 row untuk setiap

restored file termasuk file yang direstore tidak

langsung oleh filegroup name.

➢ Dbo.restorefilegroup mengandung 1 row untuk

setiap restored filegroup.

➢ Dbo.restorehistory mengandung 1 row untuk setiap

operasi restore.

33. Archiving data menggunakan procedure untuk

menghapus sejumlah baris secara periodik untuk meningkatkan

concurrency tabel, karena semakin sedikit baris bisa membuat

page locks dan index untuk akses lebih cepat.

34. Database mirroring adalah sebuah solusi high – availability

pada level database yang diimplementasikan pada per – database

basis.

35. Kegunaan database mirroring :

• Untuk memaksimalkan ketersediaan (availability) database,

kita harus meminimalkan planned dan juga unplanned

downtime.


• Contoh dari planned downtime adalah perubahan yang

diterapkan pada sistem produksi, misalnya upgrade

hardware, upgrade software, perubahan konfigurasi

database, atau upgrade storage database. Ini menyebabkan

database / server tidak tersedia untuk beberapa saat.

• Contoh dari unplanned downtime adalah yang disebabkan

oleh hardware failure seperti storage failure, bisa juga

disebabkan oleh human error, atau bencana alam. Ini

menyebabkan server produksi atau data center tidak

tersedia.

36. Konsep database mirroring :

• Database mirroring melibatkan 2 copy dari single database.

Berada di instance SQL Server terpisah dan biasanya di

komputer berbeda. Bisa saja di komputer yang sama, namun

kurang cocok untuk high – availability requirements.


• Principal database copy database yang tersedia untuk

client.

• Principal server SQL Server yang hosts principal database.

• Cara kerja database mirroring transfer dan apply stream

database log record ke copy database. Copy ini disebut

mirror database.

• Mirror server SQL Server yang hosts mirror database.

37. Database mirroring membantu meminimalisir planned dan

unplanned downtime dengan cara berikut :

• Menyediakan cara melakukan failover secara manual atau

otomatis untuk mirrored database.

• Menjaga mirrored database up – to – date dengan principal

database, baik secara sinkronus maupun asinkronus. Bisa

diatur dengan mode operasi :

➢ High performance transaction safety OFF,

mekanisme transfer asinkronus, tidak butuh

quorum, forced failover dengan adanya

kemungkinan data loss (merupakan step manual).

➢ High safety without automatic failover

transaction safety FULL, mekanisme transfer

sinkronus, butuh quorum, tidak ada witness server,

failover bisa dengan manual atau forced.

➢ High safety with automatic failover transaction

safety FULL, mekanisme transfer sinkronus, butuh

quorum, ada witness server, failover bisa otomatis

atau manual.


• Mengizinkan mirrored database ada di remote data center

untuk menyediakan foundation atau dasar untuk disaster

recovery.

38. Send queue :

• Ketika mengirim log record dari principal database ke

mirror, jika log record tidak bisa dikirim di rate yang

digenerate, sebuah antrean (queue) send queue dibentuk di

transaction log principal database.

• Send queue tidak menggunakan storage atau memori

ekstra.

• Send queue ada di principal database transaction log.

• Menunjuk kepada bagian log yang belum dikirim ke mirror.

39. Redo queue :

• Ketika menerapkan log record di mirror, jika log record tidak

bisa diterapkan pada rate yang diterima, sebuah antrean

(queue) redo queue dibentuk di mirror di transaction log

database.

• Sama halnya dengan send queue, redo queue tidak

menggunakan storage atau memori ekstra.

• Redo queue ada di transaction log mirror.

• Menunjuk kepada bagian hardened log yang menunggu

untuk diterapkan ke mirror database.

• Kebanyakkan, single thread digunakan untuk redo, tetapi

pada SQL Server Enterprise mengimplementasikan parallel


redo yang artinya sebuah thread untuk 4 processing unit (4

cores).

40. Log stream compression :

• Ketika transfer data ke partner, data mirroring

menggunakan log stream compression yang mengurangi

utilisasi jaringan dan bisa mencapai rasio kompresi

sebanyak 12.5%.

• Di skenario data mirror, principal mengkompres data

sebelum mengirim ke mirror, dan mirror uncompress data

sebelum menerapkannya.

• Ini akan meningkatkan utilisasi CPU pada principal dan

mirror untuk compress dan uncompress data ketika

mengurangi utilisasi jaringan.

• Ini berguna untuk database workloads yang melibatkan

data modifikasi yang banyak, mengurangi banyaknya

resource jaringan yang data mirroring gunakan.

41. Windows Azure SQL Database database SQL milik

Microsoft yang berbasis cloud computing berdasarkan Microsoft

SQL Server. Mendukung fitur – fitur pada SQL Server termasuk

tabel, primary key, stored procedure, views.

42. SQL Database Architecture :


• Client layer :

➢ Untuk berkomunikasi dengan SQL database.

➢ Bisa di host di Windows Azure.

➢ Menyediakan akses data melalui ADO.net.

• Services layer :

➢ Provisioning membuat dan provision database baik

melalui SSMS atau Azure platform portal.

➢ Billing dan metering mengatur pengukuran dan

pembiayaan di akun Azure individual.

➢ Connection routing mengatur koneksi antara

aplikasi dan server fisik dimana data berada.

• Platform layer :

➢ Database SQL fabric distributed computer system.

Terinstall di setiap SQL Server. Dibuat dari jaringan,

server, dan storage yang terintegrasi kuat.

• Infrastructure layer :

➢ Sistem operasi dan hardware yang digunakan.


43. Konfigurasi SQL database :

• Membuat akun di Azure.

• Web – based Azure management tool untuk manage Azure

platform :

➢ Computer services virtual machines, cloud services,

websites, mobile services.

➢ Data services storage, SQL database, backup, cache,

HDInsight, Hyper-V recovery manager.

➢ App services media services, active directory, multi

– factor authentication, service bus, notification hubs.

➢ Network services virtual network, traffic manager.

44. Azure management portal :

• Memberikan database option (web, business, premium) :

➢ Web dan business sama, hanya berbeda size.

➢ Premium performa lebih baik dan concurrency

tinggi.

• Memberikan nama server dan database dan lokasi :

➢ Nama database

➢ Online status

➢ Lokasi data center

➢ Subscription name

➢ SQL database server name

➢ Edisi SQL database

➢ Maximum ukuran database


45. Throttling mekanisme untuk meyakinkan sebuah

subscriber aplikasi tidak mengambil semua resources.

46. Load balancing :

• Mekanisme meyakinkan server tidak dalam continous state

of throttling.

• Meyakinkan high performing database.

47. Administering SQL database :

• Membuat login dan users.

• Memberikan wewenang / akses kepada user.

48. Ketika kita menghubungkan ke database SQL di Azure di

SSMS, akan ada beberapa node yang hilang server objects,

replication, dan SQL Server Agent. Dikarenakan :

• Server Objects

➢ Backup devices tidak ada akses ke hardware fisik.

➢ SOAP endpoints SQL mempunyai solusi yang lebih

baik, yaitu Odata.

➢ Linked servers SQL database tidak mendukung

distributed query.

➢ Triggers risiko keamanan dan isu performa.

• Replication karena sudah ada Data Sync Services. Fitur ini

bekerja lebih baik dan lebih mudah dikonfigurasi

(sinkronisasi termasuk handling konflik dan status

reporting).


• SQL Server Agent sudah ada fitur Worker Roles pada

Azure. Digunakan untuk menjalankan background task dan

long running intermittent task.

Ringkasan UAS Database Administration -...

Documents

Transcript of Ringkasan UAS Database Administration -...