Analisis Teks Media Online dan Sosial

Ismail Fahmi, PhD.Dosen PS MTI UIIPendiri PT Media Kernels IndonesiaIsmail.fahmi@gmail.com

Kuliah Umum FTI - Universitas Islam Indonesia,

Yogyakarta19 November 2016

2

Wahai orang-orang yang beriman! Jika seseorang yang fasik datang kepadamu membawa suatu berita, maka telitilah

kebenarannya, agar kamu tidak mencelakakan suatu kaum karena

kebodohan (kecerobohan), yang akhirnya kamu menyesali perbuatanmu itu.

(Al-Hujurat 6)

3

(Ingatlah) di waktu kamu menerima berita bohong itu dari mulut ke mulut dan kamu

katakan dengan mulutmu apa yang tidak kamu ketahui sedikit juga, dan kamu

menganggapnya suatu yang ringan saja. Padahal dia pada sisi Allah adalah besar.

(An-Nuur 15)

4

1992 – 2007 S1, Teknik Elektro, ITB2003 – 2004 S2, Computational Linguistics, Universitas Groningen, Belanda2004 – 2009 S3, Computational Linguistics, Universitas Groningen, Belanda

2000 – 2003 Inisiator IndonesiaDLN (Digital Library Network pertama di Indonesia) Mengembangkan Ganesha Digital Library (GDL) Mendirikan Knowledge Management Research Group (KMRG) ITB Membangun Digital Library ITB

2009 – Sekarang Engineer di Weborama, Perusahaan berbasis big data (Paris/Amsterdam)2012 – Sekarang Co-Founder Awesometrics, Media Monitoring & Analytics Company2014 – Sekarang Founder PT. Media Kernels Indonesia, a Natural Language Processing Company2015 – Sekarang Konsultan Perpustakaan Nasional, Inisiator Indonesia OneSearch

Ismail Fahmi, PhD.Ismail.fahmi@gmail.com

5

Agenda• Aksi 4 November dan “Drone Emprit”• Natural Language Processing• Knowledge Graph• Implementasi di Indonesia OneSearch• Next: Deliberating Internet

6Aksi 4 November 2016

7

Menjelang Aksi17 Oktober - 3 November 2016

8

17 - 31 Oktober

Polarisasi

9

Penggeseran isu

10

People + Topic Network

11

Topic Map

12

3 November

Polarisasi berkurang

13

Polarisasi

14

4 NovemberThe ‘Day’

15

Control Room ‘Drone Emprit’

16

1:14 pm

Prediksi: Aksi akan damai

Upaya positif detik.com untuk membangun suasana damai

17

Aksi Damai

18

7:00 pmTime lapse polarisasi

19

7:30 pm

Provokasi Sekelompok Kecil Massa (HMI)?

20

8:00 pm

21

9:00 pmUpaya positif detik.com untuk meredam suasana

22

9:00 pmProvokasi oleh Media

23

24

Contoh Bot dalam Twitter

25

10:00 pmSituasi kondusif

26

5 NovemberPasca Aksi

27

7:00 amPasca Aksi

28

7:00 amPeran Media

Kita perlu mendorong media agar lebih ‘membebaskan’ bukan ‘menjerumuskan’

29

30

31

32

Knowledge GraphUnderstanding Text

33

Google Knowlege Graph

34

Contoh: Semantic Search

Fact Extraction

35

Jalan Panjang Google

36

Building Knowledge Graph

37

Everything is a Triple (RDF)

38

Facebook Knowledge Graph

39

Twitter Knowledge Graph

Network 1

me-retweet

40

Network 2

di-retweet

41

Network 3

me-retweet

42

Universe

43

Robot Twitter

Engagement sangat tinggi/padat(Real user)

SNA: Demo 4 November

SNA: #KamiAhok

44

Natural Language ProcessingMembangun Knowledge Graph

45

Tentang ”Drone Emprit”• “Drone Emprit” adalah nama alay dari software ‘Media

Kernels’ untuk memonitor dan menganalisis media online, sosial, dan cetak.• Dibangun oleh Ismail Fahmi, sejak tahun 2009 ketika

masih di Belanda, di bawah PT Media Kernels Indonesia.• Pada tahun 2011 software ini digunakan untuk

membangun layanan media monitoring dan analisis komersial, bernama Awesometrics.com.

46

Data Sources

TwitterFacebookYouTube

Instagram

Online NewsWikipedia

Blogs

Printed News & Data

Mobile Apps data

Scan + OCR

Survey

Data Ingestion

3rd Party APIs

Crawler

Crawler

SFTP

Temp. Storage

API

Crawler

Processor

Natural Language Processing Engine

Archive

Archiver Apache SOLR

node node

...

Metadata

FulltextExtracte

d-features

shard

Part of Speech Tagging

Language Detection

Sentiment Analysis

Named Entity Recognition

Quote Extraction

Age Detection

Topics Analysis Gender Detection

Data & Statistics

MongoDB

node node

...MentionsStatistics

shard

Historical Query

Dashboard

Trends Analysis Anaphora Resolution

API

3rd Party Dashboard

System Settings

MySQL

Processor

User, Auth, projects,

processes

Redis 1

Redis 2

Mobile apps

Arsitektur Sistem

47

Teknologi NLP• Segmentation• Part-Of-Speech (POS) Tagging• Automatic Term Recognition (ATR)• Named Entity Recognition (NER)• Term Relationship Extraction• Syntax Analysis (S-P-O)• Sentiment Analysis

48

Unstructured TextKANZ PHILOSOPHIA, Volume 3, Number 2, December 2013 201 

KEWALIAN DALAM TASAWUF NUSANTARA

Artikel ini mendiskusikan dokrin Kewalian (al-walāyah) yang mempunyai basis yang kuat dalam al-Qur’an dan hadis dan isu ini secara sistematis dibahas melalui ajaran Ibn ‘Arabi yang kompleks.

Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fi sik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fisik ini dikendalikan.

Kata-kata Kunci : wali, karamah, Nur Muhammad, kewalian, kenabian, penutup para waliFakultas Ushuluddin, UIN Syarif Hidayatullah. E-mail : yunasrilali@ymail.com 

49

Segmentation: Paragraph=====page1=====-----------par----------KANZ PHILOSOPHIA, Volume 3, Number 2, December 2013 201 -----------par----------KEWALIAN DALAM TASAWUF NUSANTARA-----------par----------Artikel ini mendiskusikan dokrin Kewalian (al-walāyah) yang mempunyai basis yang kuat dalam al-Qur’an dan hadis dan isu ini secara sistematis dibahas melalui ajaran Ibn ‘Arabi yang kompleks. -----------par----------Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fi sik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fi sik ini dikendalikan.-----------par----------Kata-kata Kunci : wali, karamah, Nur Muhammad, kewalian, kenabian, penutup para wali 1 Fakultas Ushuluddin, UIN Syarif Hidayatullah. E-mail : yunasrilali@ymail.com 

50

Segmentation: Sentence-----------par----------Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu.

Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fisik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fisik ini dikendalikan.

51

Part-of-Speech Tagging

----------- par ----------Sementara_SC dalam_IN kajian_NN tasawuf_VB di_IN Nusantara_NNP ,_Z sebutan_NN wali_NN ini_PR sudah_MD mulai_VB dikenal_VB bersamaan_VB dengan_IN masuknya_X Islam_NNP ke_IN negeri_NN ini_PR yang_SC mengacu_VB kepada_IN dua_CD pengertian_NN ,_Z wali_NN sebagai_IN orang_NN yang_SC memiliki_VB kesaktian-kesaktian_NN -LRB-_-LRB- occulties_FW -RRB-_-RRB- sebagai_IN implikasi_NN dari_IN kekeramatan_NN dan_CC wali_NN sebagai_IN penguasa_NN wilayah_NN tertentu_PR ._Z Terlepas_VB dari_IN pengertian_NN dan_CC cakupannya_NN ,_Z ajaran_NN kewalian_NN yang_SC sesungguhnya_RB tidak_NEG lepas_VB dari_IN ajaran_NN tentang_IN kenabian_NN dan_CC kerasulan_NN yang_SC menyiratkan_VB pesan_NN bahwa_SC dunia_NN manusia_NN bukan_NEG hanya_RB dunia_NN material_NN yang_SC identik_JJ dengan_SC kenikmatan_NN hedonis_JJ ,_Z tetapi_CC di_IN balik_NN dunia_NN fi_X sik_X terdapat_VB dunia_NN metafi_VB sik_X yang_SC belum_NEG banyak_CD diketahui_VB manusia_NN dan_CC dari_IN sanalah_NN dunia_NN fi_X sik_X ini_PR dikendalikan_VB ._Z 

52

S-P-O Triple Extraction

S P O

53

Co-occurrence antar Konsep

54

Co-occurrence antar Konsep

55

Knowledge Graph

56

Indonesia OneSearchKnowledge Explorer: NLP in Action

57

Tentang IOS

58

Partner IOS

59

Contoh: Tesis “Hak Ulayat”

60

Contoh: Tesis dari UNDIP

Fullteks tesis: 112 halamanBahasa: Indonesia

61

Knowledge Explorer

62

SPO Triples

63

Fact Graph

64

Co-occurrence Analysis

65

Open Access: Enabling InnovationTesis dari UNDIP Tesis dari UAJ

66

Perbandingan antar Repositori

67

Deliberating the InternetInternet yang membebaskan

68

In 2011, he became an international figure and energized pro-democracy demonstrations in Egypt

69

“We are all Khaled Saeed”

This Facebook Page has helped spark the revolution

70

Tahun 2011Revolusi Mesir berhasil menjatuhkan rezim Husni Mobarak

71

Namun pada tahun 2013Perang Sipiltelah memecah bangsa ini menjadi dua kubu

72

Attention Economy

73

Mobokrasi dalam Sosial Media

74

Problem with Social Media

• It is designed to favor:• broadcasting over engagement, • posts over discussions• shallow comments over deep conversations.

•Results: deep polarization.

75

Polarisasi

#KamiAhok

#PenjarakanAhok

76

Fake News

77

How Trump Win?

His followers don’t fact-check anything – they’ll post everything, believe anything.

78

Wahai orang-orang yang beriman! Jika seseorang yang fasik datang kepadamu membawa suatu berita, maka telitilah

kebenarannya, agar kamu tidak mencelakakan suatu kaum karena

kebodohan (kecerobohan), yang akhirnya kamu menyesali perbuatanmu itu.

(Al-Hujurat 6)

79

Penyesalan: Anti Trump Protest

80

What we need...

We need to create a platform where people strongly disagree on issues, but agree to discuss them with civility.

81

DemocracyOSDemocracyOS evolved to become one of the most used platforms for collaborative decision-making and it got translated into 15 languages. It has been used in Tunisia to debate its national constitution; by the Federal Government of Mexico to develops its open goverment policy; by the youngest parlamentarian in Kenya to consult his constituency.

82

Parlio

Wael Ghonim

83

84

Bagaimana dengan Indonesia?• Kita perlu platform dimana dua kubu yang berbeda

pendapat secara tajam bisa berdiskusi secara beradab dan mencerahkan.• Hasil diskusi bisa menjadi tempat bagi pengguna umum

untuk memahami argumen dari kedua sisi, membangun saling pengertian, dan membuka pikiran.• Platform ini menjadi alternatif di luar media online (yang

kadang menyajikan berita palsu), untuk mendapatkan informasi yang lebih komprehensif.• Teknologi NLP dapat diterapkan untuk membantu

membangun knowledge graph dari hasil diskusi dalam platform ini.

85

Kesimpulan• Teknologi big data berbasis NLP telah digunakan untuk

memonitor peristiwa Aksi 4 November, hari-ke-hari, dan bahkan jam-ke-jam.• Melihat ‘big picture’ berbasis big data bisa memberi

pemahaman tentang apa yang sedang terjadi secara lebih luas.• Media memiliki kekuatan untuk menjadi malaikat atau iblis. Kita

harus apresiasi media yang mempromosikan kedamaian dan harmoni.• Teknologi NLP dapat berguna untuk membangun knowledge

graph dari teks tak terstruktur.• Kita perlu membangun platform dimana orang-orang yang

berbeda pendapat dengan tajam bisa berdiskusi secara beradab dan harmonis.

86

Terimakasih

Ismail Fahmi, PhDEmail: ismail.fahmi@gmail.comHp: 0812 8908 3894