Systemy decyzyjne - MIMUW

Wnioskowanie Boolowskie i teoria zbiorówprzybli»onych

4 Zbiory przybli»oneWprowadzenie do teorii zbiorów przybli»onychZªo»ono±¢ problemu szukania reduktów

5 Wnioskowanie Boolowskie w obliczaniu reduktów i reguª decyzyjnychMetody wnioskowa« Boolowskich w szukaniu reduktówSystemy decyzyjne oparte o zbiory przybli»one

6 Metoda drzew decyzyjnychWprowadzenieKonstrukcja drzew decyzyjnych

7 Problem dyskretyzacjiPrzypomnienia podstawowych poj¦¢Problem dyskretyzacjiDyskretyzacja metod¡ wnioskowania Boolowskiego

H.S. Nguyen (MIM UW) SYD 30 listopada 2017 92 / 297

De�nitionAlgebra Boola Jest to struktura algebraiczna

B = (B,+, ·, 0, 1)

speªniaj¡ca nast¦puj¡ce aksjomaty- Przemienno±¢:

(a + b) = (b + a) oraz (a · b) = (b · a)- Rozdzielno±¢:

a · (b + c) = (a · b) + (a · c), oraza + (b · c) = (a + b) · (a + c)- Elementy neutralne:

a + 0 = a oraz a · 1 = a- Istnienie elementu komplementarnego:

a + a = 1 and a · a = 0*) Czasem negacja jest dodana do sygnatury algebryBoola.


Przykªady Algebry Boola

1 Algebra zbiorów: P(X ) = (2X ,∪,∩,−, ∅,X );2 Rachunek zda«

({zdania logiczne},∨,∧,¬,⊥,>)

3 Binarna algebra Boola B2 = ({0, 1},+, ·, 0, 1) to jest najmniejsza, alenajwa»niejsza algebra Boola w zastosowaniu.

x y x + y x · y0 0 0 00 1 1 01 0 1 01 1 1 1

x ¬x

0 11 0

Przykªady zastosowa«:• projektowanie ukªadów scalonych;• rachunek zda«.


Wªa±ciwo±ci algebr Boola�¡czno±¢ (ang. Associative law):

(x + y) + z = x + (y + z) oraz (x · y) · z = x · (y · z)

Idempotence: x + x = x oraz x · x = x(dual)

Dziaªania z 0 i 1: x + 1 = 1 oraz x · 0 = 0(dual)

Pochªanienie (ang. Absorption laws):(y · x) + x = x oraz (y + x) · x = x(dual)

Inwolocja (ang. Involution laws): (x) = x

Prawa DeMorgana (ang. DeMorgan's laws):

¬(x + y) = ¬x · ¬y oraz ¬(x · y) = ¬x + ¬y(dual)

Prawa konsensusu (ang. Consensus laws):

(x + y) · (x + z) · (y + z) = (x + y) · (x + z) oraz

(x · y) + (x · z) + (y · z) = (x · b) + (x · z)

Zasada dualno±ci: Ka»da algebraiczna równo±¢ pozostaje prawdziwa je±lizamieniamy operatory + na ·, · na +, 0 na 1 oraz 1 na 0.


Funkcje Boolowskie

• Ka»de odwzorowanie f : {0, 1}n → {0, 1} nazywamy (zupeªn¡)funkcj¡ Boolowsk¡.

• Funkcje Boolowskie ≡ formuªy Boolowskie:• Staªe, zmienne, operatory , + oraz .• Literaªy, mintermy (jednomiany), maxtermy, ...• Kanoniczna posta¢ dyzjunkcyjna (DNF), np.

f = xyz + xyz + xyz + xyz ;• Kanoniczna posta¢ koniunkcyjna (CNF), np. f = (x + y + z)(x + y)

• Term t = xi1 ...xim xj1 ...xjk nazywamy implikantem funkcji f je±li

∀a∈{0,1}n t(a) = 1⇒ f (a) = 1

• Implikant pierwszy: jest to implikant, który przestaje nim by¢ pousuni¦ciu dowolnego literaªu.

• Kanoniczna posta¢ Blake'a: ka»d¡ funkcj¦ Boolowsk¡ mo»naprzedstawi¢ jako sum¦ wszystkich jej imlikantów pierwszych:

f = t1 + t2 + ...+ tk


Przykªad

Wiele formuª reprezentuje t¦ sam¡ funkcj¦;φ1 = xyz + xyz + xyz + xyzφ2 = (x + y + z)(x + y + z)(x + y + z)(x + y + z)φ3 = xy + xz + yz

xyz jest implikantemxy jest implikantem pierwszym

x y z f0 0 0 01 0 0 00 1 0 01 1 0 10 0 1 01 0 1 10 1 1 11 1 1 1


Funkcje monotoniczne

• Niech ≺ oznacza relacj¦ cz¦±ciowego porz¡dku w {0, 1}n

• Funkcja f jest monotoniczna (niemalej¡ca) wtw, gdy dla ka»dychx, y ∈ {0, 1}n je±li x ≺ y to f (x) ≤ f (y)

• monotoniczne funkcje Boolowskie mo»na zapisa¢ bez u»ycia negacji.

• term f ′ = xi1 · xi2 ... · xik nazywamy implikantem pierwszym funkcji

monotonicznej f je±li• f ′(x) 6 f (x) dla ka»dego wektora x (jest implikantem)• ka»da funkcja wi¦ksza od f ′ nie jest implikantem

• Np. funkcjaf (x1, x2, x3) = (x1 + x2)(x2 + x3)

posiada 2 implikanty pierwsze: f1 = x2 i f2 = x1 ∧ x3


Wnioskowanie Boolowskie

1 Modelowanie: Kodowanie problemu za pomoc¡ ukªadu równa«Boolowskich;

2 Redukcja: Sprowadzenie ukªadu równa« do pojedynczego równania postacif = 0 lub f = 1

3 Konstrukcja: Znalezienie wszystkich implikantów pierwszych funkcji f(konstrukcja kanonicznej postaci Blake'a);

4 Dedukcja: Zastosowanie pewnej sekwencji wnioskowa« transformuj¡cychimplikanty pierwsze do rozwi¡za« problemu.


Boolean Reasoning � ExampleProblem:A,B,C ,D are considering going to aparty. Social constrains:

• If A goes than B won't go and Cwill;

• If B and D go, then either A orC (but not both) will go

• If C goes and B does not, thenD will go but A will not.

Problem modeling:

A→ B ∧ C ! A(B + C ) = 0

...! BD(AC + AC ) = 0

...! BC (A + D) = 0

• After reduction:f = A(B + C ) + BD(AC +AC ) + BC (A + D) = 0

• Blake Canonical form:f = BC D + BC D + A = 0

• Facts:

BD −→ C

C −→ B ∨ D

A −→ 0

• Reasoning: (theorem proving)e.g., show that�nobody can go alone.�


Metoda BR w Sztucznej Inteligencji

• Problem SAT: czy równanief (x1, ..., xn) = 1

posiada rozwi¡zanie?

• SAT odgrywa wa»n¡ rol¦ w teoriizªo»ono±ci (twierdzenie Cooka,dowodzenie NP-zupeªno±ci ...)

• Ka»dy SAT-solver mo»e by¢ u»ywanydo rozwi¡zywania problemuplanowania.

• Blocks world problem: Po redukcjiformuªa boolowska nadal zawieraO(tk2) zmiennych i O(tk3) klauzuli(k, t - liczby bloków i kroków).

• Np. Dla k = 15, t = 14, mamy 3016zmiennych i 50457 klausuli

A

B

C

D

E

AC

E

B

D


Szukanie reduktów: szkic metody

1 Konstrukcja funkcji odró»nialno±ci:• Zmienne boolowskie: atrybuty a1, ..., ak ;• Klauzula:

φu,v =∨{a ∈ A : a(u) 6= a(v)}

• Funkcja rozró»nialno±ci:

FS(a1, ..., ak ) =∧

x,y∈U:dec(x) 6=dec(y)

φx,y (a1, ..., ak )

2 przeksztaªcenie funkcji rozró»nialno±ci do postaci DNF3 ka»dy implikant pierwszy odpowiada jednemu reduktowi;


Przykªad tablicy decyzyjnej

Hurt. Jako±¢ obsªugi Jako±¢ towaru Obok autostrady? Centrum? decyzjaID a1 a2 a3 a4 dec1 dobra dobra nie nie strata2 dobra dobra nie tak strata3 bdb dobra nie nie zysk4 slaba super nie nie zysk5 slaba niska tak nie zysk6 slaba niska tak tak strata7 bdb niska tak tak zysk8 dobra super nie nie strata9 dobra niska tak nie zysk10 slaba super tak nie zysk11 dobra super tak tak zysk12 bdb super nie tak zysk13 bdb dobra tak nie ?14 slaba super nie tak ?


Macierz i funkcja odró»nialno±ci

M 1 2 6 8

3 a1 a1, a4 a1, a2, a3, a4 a1, a24 a1, a2 a1, a2, a4 a2, a3, a4 a15 a1, a2, a3 a1, a2, a3, a4 a4 a1, a2, a37 a1, a2, a3, a4 a1, a2, a3 a1 a1, a2, a3, a49 a2, a3 a2, a3, a4 a1, a4 a2, a310 a1, a2, a3 a1, a2, a3, a4 a2, a4 a1, a311 a2, a3, a4 a2, a3 a1, a2 a3, a412 a1, a2, a4 a1, a2 a1, a2, a3 a1, a4

f = (α1)(α1 ∨ α4)(α1 ∨ α2)(α1 ∨ α2 ∨ α3 ∨ α4)(α1 ∨ α2 ∨ α4)

(α2 ∨ α3 ∨ α4)(α1 ∨ α2 ∨ α3)(α4)(α2 ∨ α3)(α2 ∨ α4)

(α1 ∨ α3)(α3 ∨ α4)(α1 ∨ α2 ∨ α4)


Szukanie reduktów

f = (α1)(α1 ∨ α4)(α1 ∨ α2)(α1 ∨ α2 ∨ α3 ∨ α4)(α1 ∨ α2 ∨ α4)

(α2 ∨ α3 ∨ α4)(α1 ∨ α2 ∨ α3)(α4)(α2 ∨ α3)(α2 ∨ α4)

(α1 ∨ α3)(α3 ∨ α4)(α1 ∨ α2 ∨ α4)

• usuwanie alternatyw reguª¡ pochªaniania (t.j. p ∧ (p ∨ q) ≡ p):

f = (α1)(α4)(α2 ∨ α3)

• sprowadzanie funkcji f z postaci CNF (koniunkcja alternatyw) dopostaci DNF (alternatywa koniunkcji)

f = α1α4α2 ∨ α1α4α3

• Ka»dy skªadnik jest reduktem! Zatem mamy 2 redukty:R1 = {A1,A2,A4} i R2 = {A1,A3,A4}


Heurystyka Johnsona: algorytm zachªanny

• Atrybut jest wa»niejszy je±li cz¦±ciej wyst¦puje w klauzulach;

• Selekcja: W ka»dym kroku wybierzmy atrybut, który najcz¦±ciejwyst¦puje w funkcji rozró»nialno±ci;

• Usuwanie: Usuwamy z tej funkcji te klauzule, które zawieraj¡ wybranyatrybut;

• Powtarzamy Selekcja i Usuwanie dopóty, póki funkcja rozró»nialno±cizawiera jeszcze jak¡± klazul¦.


Heurystyka zachªanna

Heurystyka Johnsona1 Znale¹¢ atrybut, który wyst¦puje najcz¦±ciej w macierzy

rozró»nialno±ci;2 Usuwn¡¢ wszystkie pola zawieraj¡ce wybrany atrybut;3 Powtarzamy kroki 1 i 2 dopóki wszystkie pola macierzy s¡ puste.


Przykªad dziaªania

M 1 2 6 8


• W macierzy nierozróznialno±ci z poprzedniego przykªadu

a1 - wyst¦puje 23 razy a2 - wyst¦puje 23 razy

a3 - wyst¦puje 18 razy a4 - wyst¦puje 16 razy

• Je±li wybieramy a1, to po usuni¦ciu pól zawieraj¡cych a1 zostaªo 9 niepustych pól

macierzy nierozró»nialno±ci. W±ród nich:

a2 - wyst¦puje 7 razy a3 - wyst¦puje 7 razy a4 - wyst¦puje 6 razy

• Je±li wybieramy tym razem a2 to zostaªy 2 niepuste pola i w±ród nich a4 jest

zdecydowanym faworytem.

• Mo»emy dosta¢ w ten sposób redukt: R1 = {a1, a2, a4}.


Jak dobra jest heurystyka Johnsona?

• Niech X = {(u, v) ∈ U2 : dec(u) 6= dec(v)};• Niech Sai = {(u, v) ∈ X : ai (u) 6= ai (v)};• Niech C ∗ ⊂ A b¦dzie minimalnym reduktem, lecz C = {a1, ..., ak}b¦dzie reduktem znalezionym przez heurystyk¦ Johnsona;

• Zaªó»my, »e heurystyka Johnsona musi pªaci¢ 1zª za ka»dym razem,gdy dodaªa ai do C .

• Rozªó»my ten koszt tym elementom, które zostaªy po raz pierwszypokryte przez zbiór Sai

• Niech cx = koszt ponoszony przez x . Je±li x jest pokryty po razpierwszy przez ai , to

cx =1

|Sai − (Sa1 ∪ ... ∪ Sai−1)|


Jak dobra jest heurystyka Johnsona?

• Heurystyka Johnsona ponosi ª¡czny koszt = |C |. Mamy

|C | =∑x∈X

cx ≤∑

a∈C∗

∑x∈Sa

cx

• Gdyby±my pokazali, »e dla dowolnego altrybutu a ∈ A∑x∈Sa

cx ≤ H(|Sa|)

gdzie H(n) =∑n

i=11i , wówczas mo»emy oszacowa¢ dalej:

|C | ≤∑

a∈C∗

∑x∈Sa

cx ≤ |C ∗| · H(max{|Sa : a ∈ A|})

≤ |C ∗| · H(|X |) ≤ |C ∗| · ln(|X |+ 1)


Inne heurystyki do szukania implikantówpierwszych

• ILP (Integer Linear Program)

• Symulowane wy»arzanie (simulated annealing)

• Algorytmy genetyczne

• SAT solver

• ???


ILPDana jest funkcja f : {0, 1}n → {0, 1} zapisana w postaci CNF za pomoc¡zmiennych x1, ..., xn

1 Utwórz nowe zmienne {y1, ..., y2n} odpowiadaj¡ce literaªomx1, x1, ..., xn, xn;

2 Dla ka»dej zmiennej xi , utwórzmy nierówno±¢ y2i−1 + y2i ≤ 13 Zamie« ka»d¡ klausul¦ ωi = (li1 ∨ ... ∨ lini

) na nierówno±¢yi1 + ...+ yini

≥ 1;4 Utwórzmy ukªad nierówno±ci z poprzednich punktów:

Ay ≥ b

5 Zagadnienie programowania liniowego liczb caªkowitych (ILP) jestde�niowane jako problem szukania

minn∑

i=1

yi przy ograniczeniu: Ay ≥ b.


J¦zyk deskryptorów (ang. description language)

Dla danego zbioru atrybutów A de�niujemy j¦zyk deskryptorów jako trójk¦

L(A) = (D, {∨,∧,¬},F)

gdzie

• D jest zbiorem deskryptorów

D = {(a = v) : a ∈ A and v ∈ Vala};

• {∨,∧,¬} jest zbiorem standardowych operatorów logicznych;

• F jest zbiorem formuª logicznych zbudowanych na deskryptorach z D.

• Dla ka»dego zbioru atrybutów B ⊆ A oznaczamy:D|B = {(a = v) : a ∈ B and v ∈ Vala}, czyli zbiór deskryptorówobci¦tych do B .F|B zbiór formuª zbudowanych na D|B .


Semantyka w systemach informacyjnych

Semantyka:Niech S = (U,A) b¦dzie tablic¡ informacyjn¡. Ka»da formuªa φ ∈ F, jest(semantycznie) skojarzona ze zbiorem [[φ]]S zawieraj¡cym obiektyspeªniaj¡ce φ.Formalnie mo»emy indukcyjnie de�niowa¢ semantyk¦ jak nast¦puj¡co:

[[(a = v)]]S = {x ∈ U : a(x) = v} (1)

[[φ1 ∨ φ2]]S = [[φ1]]S ∪ [[φ2]]S (2)

[[φ1 ∧ φ2]]S = [[φ1]]S ∩ [[φ2]]S (3)

[[¬φ]]S = U \ [[φ]]S (4)

Ka»da formuªa φ mo»e by¢ charakteryzowana przez:

• length(φ) = liczba deskryptorów w φ;

• support(φ) = |[[φ]]S| = liczba obiektów speªniaj¡cych formuª¦


Reguªy decyzyjne

De�nition

De�nicja reguª decyzyjnych Niech S = {U,A ∪ {dec}} b¦dzie tablic¡decyzyjn¡. Reguª¡ decyzyjn¡ dla S nazywamy formuªy postaci:

φ⇒ δ

gdzie φ ∈ FA i δ ∈ Fdec .Formuª¦ φ nazywamy poprzednikiem (lub zaªo»eniem) reguªy r, a δnazywamy nast¦pnikiem (lub tez¡) reguªy r.Oznaczamy poprzednik i nast¦pnik reguªy r przez prev(r) oraz cons(r).

De�nitionReguªy atomowa: S¡ to reguªy postaci:

r ≡ (ai1 = v1) ∧ ... ∧ (aim = vm)⇒ (dec = k) (5)


Reguªy decyzyjne (c.d.)

Ka»da reguªa decyzyjna r postaci (5) mo»e by¢ charakteryzowananast¦puj¡cymi cechami:

length(r) = liczba deskryptorów wyst¦puj¡cych w zaªo»eniu re-guªy r

[r] = no±nik reguªy r, czyli zbiór obiektów z U speªnia-j¡cych zaªo»enie reguªy r

support(r) = liczba obiektów z U speªniaj¡cych zaªo»eniereguªyr: support(r) = card([r])

confidence(r) = wiarygodno±¢ reguªy r: confidence(r) = |[r]∩DECk ||[r]|

Mówimy, »e reguªa r jest niesprzeczna z A je±li

confidence(r) = 1


Minimalne reguªy

De�nition

Minimalne niesprzeczne reguªy: Niech S = (U,A ∪ {dec}) b¦dzie dan¡tablic¡ decyzyjn¡. Niesprzeczn¡ reguª¦

(ai1 = v1) ∧ ... ∧ (aim = vm)⇒ (dec = k)

nazywamy minimaln¡ niesprzeczn¡ reguª¡ decyzyjn¡ je±li usuni¦ciektóregokolwiek z deskryptorów spowoduje, »e reguªa przestaje by¢niesprzezcna z S.


Ogólne metody

Klasy�katory reguªowe dzialaj¡ w trzech fazach:1 Faza treningu: Generuje pewien zbiór reguª RULES(A) z danej tablicy

decyzyjnej A.2 Faza selekcji reguª: Szuka w RULES(A) tych reguª, które s¡ wspierane

przez obiekt x . Oznaczamy zbiór tych reguª przez MatchRules(A, x).3 Faza klasy�kacji: wyznacza klas¦decyzyjn¡ dla x za pomoc¡ reguª z

MatchRules(A, x) wedªug nast¦puj¡cego schematu:1 Je±li MatchRules(A, x) jest pusty: odpowied¹ dla x jest “NIEWIEM ′′,

tzn. nie mamy podstaw, aby klasy�kowa¢ obiekt x do którejkolwiek zklas;

2 Je±li MatchRules(A, x) zawiera tylko obiekty z k-tej klasy: wówczasdec(x) = k ;

3 Je±li MatchRules(A, x) zawiera reguªy dla ró»nych klas decyzyjnych:wówczas decyzja dla x okre±limy za pomoc¡ pewnego, ustalonegoschematu gªosowania mi¦dzy reguªami z MatchRules(A, x).


Metoda Oparta o Wnioskowanie Boolowskie

• Ka»da reguªa powstaje poprzez skracanie opisu jakiego± obiektu.

• Redukty lokalne

• Te same heurystyki dla reduktów decyzyjnych.


Przykªad tablicy decyzyjnej

Hurt. Jako±¢ obsªugi Jako±¢ towaru Obok autostrady? Centrum? decyzjaID a1 a2 a3 a4 dec1 dobra dobra nie nie strata2 dobra dobra nie tak strata3 bdb dobra nie nie zysk4 slaba super nie nie zysk5 slaba niska tak nie zysk6 slaba niska tak tak strata7 bdb niska tak tak zysk8 dobra super nie nie strata9 dobra niska tak nie zysk10 slaba super tak nie zysk11 dobra super tak tak zysk12 bdb super nie tak zysk13 bdb dobra tak nie ?14 slaba super nie tak ?


Macierz i funkcja lokalnych odró»nialno±ci

M 1 2 6 8


fu3 = (α1)(α1 ∨ α4)(α1 ∨ α2 ∨ α3 ∨ α4)(α1 ∨ α2) = α1

Reguªy:(a1 = bdb) =⇒ dec = zysk


Macierz i funkcja lokalnych odró»nialno±ci

M 1 2 6 8


fu8 = (α1 ∨ α2)(α1)(α1 ∨ α2 ∨ α3)(α1 ∨ α2 ∨ α3 ∨ α4)(α2 ∨ α3)

(α1 ∨ α3)(α3 ∨ α4)(α1 ∨ α4)

= α1(α2 ∨ α3)(α3 ∨ α4) = α1α3 ∨ α1α2α4

Reguªy:

• (a1 = dobra) ∧ (a3 = nie) =⇒ dec = strata

• (a1 = dobra) ∧ (a2 = super) ∧ (a4 = nie) =⇒ dec = strata


Systemy decyzyjne - MIMUW

Documents

Transcript of Systemy decyzyjne - MIMUW