Maticový model jako řešení pro DIS v prostředí XML Vladimír Rejlek

2 Obsah jazyk XML pojem podobnosti v oblasti XML dokumentů kategorizace přístupů přístup DIS s indexací Maticový model

3 XML – ukázka dat XML pro každého Jiří Kosek Grada Publishing s.r.o. Microsoft Word pro pokročilé Šimek Vacek Computer Press …

4 XML – stromová struktura

5 Přístupy k podobnosti XML 1)Klasické XML dotazovací jazyky rozšířené o operátor podobnosti 2)Závislost odpovědí na dotazy nad XML daty na granularitě těchto dat 3)Podobnost mezi XML dokumenty a DTD 4)Přístup DIS s indexací 5)Přístup DIS bez indexace

6 1. XML dotazovací jazyky rozšířené o operátor podobnosti vychází z již navržených XML dotazovacích jazyků (XQL, XML-QL) přidání operátoru podobnosti (~) dvojí použití porovnání na konstantu porovnání dvou částí dat mezi sebou

7 1. XML dotazovací jazyky rozšířené o operátor podobnosti dotaz v jazyku XXL SELECT H, S FROM cd01.xml, cd02.xml WHERE ~cd AS C AND C.#.interpret AS I AND I = "Gustav Brom se svým orchestrem" AND C.#.(~skladba)? AS S AND S.~hudebnik AS H AND H.# ~ "barytonsaxofon"

8 2. Závislost odpovědí na dotazy na granularitě dat orientace na "text-rich" dokumenty v čase konstrukce dotazu neznáme přesný tvar odpovědi chceme nalézt co nejrelevantnější kontext pro hledané termy dva způsoby řešení: přídavné informace speciální operátory

9 2. Závislost odpovědí na dotazy na granularitě dat jazyk XIRQL přidává kontextové uzly

10 3. Podobnost mezi XML dokumenty a DTD zkoumá XML dokumenty, pro než neznáme DTD pro XML dokument hledáme v množině DTD to nejpodobnější podobnost DTD mezi sebou

11 4. Přístup DIS s indexací

12 4. Přístup DIS s indexací dotazy typu: "najdi všechny dokumenty z kolekce s co největší relevancí k zadanému popisu" klasické DIS vůbec nepočítají s vnitřní strukturou dokumentů potřeba rozšíření indexu o tyto informace

13 5. Přístup DIS bez indexace výstupem není množina relevantních dokumentů ale množina relevantních podstromů dokumentů

14 5. Přístup DIS bez indexace přibližné vnořování stromů (jazyk ApproXQL)

15 Maticový model pro XML DIS přístup DIS s indexací přímo vychází z vektorového modelu pro DIS dokument je v indexu reprezentován maticí namísto vektorem přidává nový prvek: Matice převodu cest

16 Reprezentace dokumentu Reprezentací dokumentu d i v rámci kolekce c v maticovém modelu rozumíme matici D i o rozměrech m  k, kde m je počet měřených termů a k je počet cest v XML struktuře kolekce c. Hodnota d i,j,s  udává váhu termu t j na cestě s v dokumentu d i.

17 Příklad – strom kolekce

18 Příklad – matice dokumentů a b c a b c a b c D 1 : [( 0, 1, 0), ( 0, 0, 1), ( 0, 0, 0)] D 2 : [(0.5, 0, 0), ( 0, 0, 0), (0.5, 0, 0)] D 3 : [(0.5, 0, 0), (0.5, 0, 0), ( 0, 0, 0)] "david" "morrell" "caine" cesty: a)kniha->autor b)kniha->autor->jmeno c)kniha->autor->prijmeni

19 Definice podobnosti podobnost

20 Matice převodu cest matice převodu cest čtvercová reálná matice A o rozměrech k x k, kde k je počet cest v kolekci; a i,j  a a i,i = 1 pro každou cestu vektor, který vyjádří vztah této cesty ke všem ostatním

21 Matice převodu cest Jednokrokový převod Mějme matici dokumentu D o rozměrech mxk a matici převodu cest A o rozměrech kxk, kde a i,j  a a i,i =1. Pak jednokrokovým převodem rozumíme funkci JP(D,A)=UD, kde UD je opět matice o rozměrech mxk a platí, že:

22 Matice převodu cest Převod převodem matice dokumentu D podle matice převodu cest A rozumíme tranzitivní uzávěr funkce JP(D,A) zjednodušeně: váha termu se distribuuje po cestách podle matice převodu cest pomocí funkce maximum

23 Příklad – matice převodu cest a)kniha  autor b)kniha  autor  jmeno c)kniha  autor  prijmeni a b c a b c a b c UD 1 : [( 0.5, 1, 0.1), (0.5, 0.1, 1), ( 0, 0, 0)] UD 2 : [(0.5, 0.1, 0.1), ( 0, 0, 0), (0.5, 0.1, 0.1)] UD 3 : [(0.5, 0.1, 0.1), (0.5, 0.1, 0.1), ( 0, 0, 0)] matice převodu cest matice dokumentů po převodu

24 Maticový model pro XML DIS využití matice převodu cest každá matice dokumentu je před uložením do indexu upravena převodní maticí jednotlivé cesty (elementy) se tak dostávají do vztahů dva dokumenty se stejným termem na různých cestách si budou (mohou) více či méně podobné

25 Maticový model pro XML DIS nevýhody: časová a prostorová složitost je oproti vektorovému modelu horší potřeba přídavných informací (převodní matice) výhody: zpracovává strukturu XML dat kolekce může být z různých zdrojů dotaz a dokument ztotožněny velmi flexibilní (převodní matice je značně univerzální)

26 Závěr zavedení podobnosti do prostředí XML kategorizace přístupů k podobnosti XML Maticový model jako řešení pro přístup DIS s indexací

27 Literatura [1] Tim Bray, Jean Paoli, C. M. Sperberg-McQueen, Eve Maler (2000): Extensible Markup Language (XML) 1.0 (Second Edition). W3C Recommendation ( [2] Jiří Kosek (2000): XML pro každého. Grada Publishing s.r.o. [3] Jonathan Robie, Joe Lapp, David Schach (1998): XML Query Language (XQL). ( [4] Hiroshi Ishikawa, Kazumi Kubota, Yasuhiko Kanemasa (1998): XQL: A Query Language for XML Data. Fujitsu Laboratories Ltd. ( [5] Alin Deutsch, Mary Fernandez, Daniela Florescu, Alon Levy, Dan Suciu (1998): XML-QL: A Query Language for XML. Submission to the World Wide Web Consortium ( html) html [6] Jaroslav Pokorný (2001): XML a databáze. KSI MFF UK ( [7] Scott Boag, Don Chamberlin, Mary F. Fernandez, Daniela Florescu, Jonathan Robie, Jérôme Siméon, Mugur Stefanescu (2002): XQuery 1.0: An XML Query Language. W3C Working Draft ( [8] Jonathan Robie, Don Chamberlin, Daniela Florescu (2000): Quilt: an XML Query Language. ( [9] Jaroslav Pokorný, Václav Snášel, Dušan Húsek (1998): Dokumentografické informační systémy. Skripta MFF UK, Karolinum – nakladatelství UK [10] Michal Kopecký (2000): Dokumentografické informační systémy. KSI MFF UK ( [11] Anja Theobald, Gerhard Weikum (2000): Adding Relevance to XML. Department of Computer Science University of the Saarland, Germany

28 Literatura [12] Taurai Chinenyanga, Nicholas Kushmerick (2001): An Expressive and Efficient Language For XML Information Retrieval. J. American Society for Information Science & Technology [13] William W. Cohen (1998): Integration of heterogeneous databases without common domains using queries based on textual similarity. Proc. SIGMOD, stránky 201­211 [14] Norbert Fuhr, Kai Großjohann (2000): XIRQL – An Extension of XQL for Information Retrieval. University of Dortmund, Germany [15] Norbert Fuhr, Kai Großjohann (2000): XIRQL: A Query Language for Information Retrieval. University of Dortmund, Germany [16] Norbert Fuhr (2000): Probabilistic Datalog – Implementing Logical Information Retrieval for Advanced Applications. [17] Albrecht Schmidt, Martin Kersten, Menzo Windhouwer (2001): Querying XML Documents Made Easy: The Nearest Concept Queries. 17th International Conference on Data Engineering ( [18] Yoshihiko Hayashi, Junji Tomita, Gen'ichiro Kikui (2000): Searching Text-rich XML Documents with Relevance Ranking. ACM SIGIR 2000 Workshop on XML and Information Retrieval ( [19] Torsten Schlieder (2001): Similarity search in XML data using cost-based query transformations. Proceedings of the Fourth International Workshop on the Web and Databases (WebDB'01) ( [20] Torsten Schlieder, Holger Meuss (2000): Result ranking for structured queries against XML documents. DELOS Workshop on Information Seeking, Searching and Querying in Digital Libraries ( [21] Elisa Bertino, Giovanna Guerrini, Marco Mesiti (2001): Measuring the Structural Similarity among XML Documents and DTDs. Dipartimento di Informatica e Scienze dell'Informazione [22] Jakub Vrána (2002): Specificita slov. MFF UK