‫מבוא לאחזור מידע‬ ‫‪Information Retrieval‬‬ ‫בינה מלאכותית‬ ‫אבי רוזנפלד‬ ‫מהי אחזור מידע?‬ ‫• חיפוש אחרי מידע באינטרנט‬ ‫– הרב ד"ר גוגל (‪(?BING‬‬ ‫– תחום מחקר פורח וחשובה‪...‬‬ ‫• חיפוש אחרי מידע רלוונטי מתוך הרבה מקורות‬ ‫(אתרים‪ ,‬תמונה‪ ,‬וכו')‬ ‫‪Copyright © Victor Lavrenko‬‬ ‫‪Hopkins IR Workshop 2005‬‬ ‫מה ההבדל בין שאילתות‬ ?‫בבסיסי נתונים ואחזור מידע‬ ‫בסיסי נתונים‬ Data Structured (key) Clear semantics Fields (SSN, age) Defined (relational Queries algebra, SQL) Exact (results are Matching always “correct”( Hopkins IR Workshop 2005 Copyright © Victor Lavrenko ‫אחזור מידע‬ Unstructured (web) No fields (other than text) Free text )“natural language”(, Boolean Imprecise (need to measure effectiveness) ‫מערכת המידע של אחזור מידע‬ Document corpus IR System Query String Ranked Documents 4 1. Doc1 2. Doc2 3. Doc3 . . ‫שלבים למנוע חיפוש‬ ‫• בניית המאגר מידע )‪(Document Corpus‬‬ ‫–‬ ‫–‬ ‫–‬ ‫–‬ ‫‪Web crawler‬‬ ‫ניקיון המידע מכפילות‪STEMMING ,‬‬ ‫תדירות המילים‬ ‫חשיבות המילים – ‪Td/IDF‬‬ ‫• בניית האנדקסים (לאנדקס ‪)Index‬‬ ‫• בניית התשובה‬ ‫– עיבוד השאלתה (הורדת ‪)STOP WORDS‬‬ ‫– דירוג תוצאות (‪)PAGERANK‬‬ ‫• ניתוח התוצאות‬ ‫– ‪FALSE NEGATIVE /FALSE POSITIVE‬‬ ‫– ‪Recall / Precision‬‬ ‫בניית ה‪INDEX‬‬ ‫דוגמאות – שימו לב לזמן ומספר התוצאות!‬ ‫זחלן רשת ‪Web Crawler /‬‬ ‫‪– Identifies and acquires documents for search engine‬‬ ‫‪– http://en.wikipedia.org/wiki/Web_crawler‬‬ ‫•‬ ‫•‬ ‫•‬ ‫•‬ ‫•‬ ‫זחלן רשת הוא סוג של בוט או תוכנה שסורקת באופן‬ ‫אוטומטי ושיטתי את ה‪.WWW‬‬ ‫מדיניות של בחירה אשר מגדירה איזה עמוד להוריד‪.‬‬ ‫מדיניות של ביקור חוזר אשר מגדירה מתי לבדוק‬ ‫שינויים בדפים‪.‬‬ ‫מדיניות נימוס אשר מגדירה איך להימנע מעומס יתר‬ ‫של אתרים ולגרום להפלה של השרת‪.‬‬ ‫מדיניות של הקבלה אשר מגדירה איך לתאם בין‬ ‫הזחלנים השונים‪.‬‬ ‫ דחיסה‬-- ‫ניקיון המידע‬ • Text is highly redundant (or predictable) • Compression techniques exploit this redundancy to make files smaller without losing any of the content • Compression of indexes covered later • Popular algorithms can compress HTML and XML text by 80% – e.g., DEFLATE (zip, gzip) and LZW (UNIX compress, PDF) – may compress large files in blocks to make access faster ‫ רעש‬-- ‫ניקיון המידע‬ • Many web pages contain text, links, and pictures that are not directly related to the main content of the page • This additional material is mostly noise that could negatively affect the ranking of the page • Techniques have been developed to detect the content blocks in a web page – Non-content material is either ignored or reduced in importance in the indexing process Noise Example Example Web Page Example Web Page ‫ניקיון המידע – מציאת מידע חשוב‬ • Tokenizer recognizes “words” in the text – Must consider issues like capitalization, hyphens, apostrophes, non-alpha characters, separators • Markup languages such as HTML, XML often used to specify structure and metatags – Tags used to specify document elements – E.g., <h2> Overview </h2> – Document parser uses syntax of markup language (or other formatting) to identify structure ‫דירוג הנתונים‬ ‫• מידע סטטיסטי של המסמכים‬ ‫– מספר הפעמים שמילים הופיעו‪ ,‬מיקום במסמך‬ ‫• משקל למילים‬ ‫– ‪tf.idf weight‬‬ ‫– שילוב של התדירות של מילה במסמך ובכל המאגר‬ Zipf ‫חוק‬ ‫• יש התפלגות לא נורמאלית למלים בשפה‬ )‫– הרבה מילים מופיעים הרבה (ואפילו רוב הזמן‬ ‫ = מילים שמופיעים הרבה ולכן לא חשובים‬Stopwords – ‫בחיפוש‬ e.g., two most common words (“the”, “of”) make up – about 10% of all word occurrences in text documents • Zipf’s “law”: – observation that rank (r) of a word times its frequency (f) is approximately a constant (k) • assuming words are ranked in order of decreasing frequency – i.e., r.f  k or r.Pr  c, where Pr is probability of word occurrence and c 0.1 for English Zipf’s Law tf*idf weighting schema • tf = term frequency – frequency of a term/keyword in a document The higher the tf, the higher the importance (weight) for the doc. • df = document frequency – no. of documents containing the term – distribution of the term • idf = inverse document frequency – the unevenness of term distribution in the corpus – the specificity of term to a document The more the term is distributed evenly, the less it is specific to a document weight(t,D) = tf(t,D) * idf(t) 18 ‫דוגמא‬ ‫• נניח שהמילה ‪ example‬הופיע ‪ 3‬פעמים בתוך מסמך‬ ‫א' מתוך ‪ 4‬מסמכים‬ ‫–‬ ‫–‬ ‫–‬ ‫–‬ ‫‪( Tf= 3‬במסמך הזה)‬ ‫‪Idf = 1/0.25= 4‬‬ ‫‪Tf*idf=12‬‬ ‫מה יקרה אם המילה מופיע בכל מסמך?‬ ‫• מה יהיה ה‪)3( ?tf*idf‬‬ ‫• יש כמה וריאציות איך לחשב ‪ tf‬ו‪( idf‬כמו ב‪ )LOG‬אבל‬ ‫זה הכי פשט‬ ‫• נשתמש בו בתוך התרגיל‬ Stopwords / Stoplist • function words do not bear useful information for IR of, in, about, with, I, although, … • Stoplist: contain stopwords, not to be used as index – – – – – Prepositions Articles Pronouns Some adverbs and adjectives Some frequent words (e.g. document) • The removal of stopwords usually improves IR effectiveness • A few “standard” stoplists are commonly used. 20 Top 50 Words from AP89 Stemming • Reason: – Different word forms may bear similar meaning (e.g. search, searching): create a “standard” representation for them • Stemming: – Removing some endings of word computer compute computes computing computed computation comput 22 Stemming • Generally a small but significant effectiveness improvement – can be crucial for some languages – e.g., 5-10% improvement for English, up to 50% in Arabic Words with the Arabic root ktb Stemming • Two basic types – Dictionary-based: uses lists of related words – Algorithmic: uses program to determine related words • Algorithmic stemmers – suffix-s: remove ‘s’ endings assuming plural • e.g., cats → cat, lakes → lake, wiis → wii • Many false negatives: supplies → supplie • Some false positives: ups → up Porter algorithm (Porter, M.F., 1980, An algorithm for suffix stripping, Program, 14(3) :130-137) • Step 1: plurals and past participles – SSES -> SS – (*v*) ING -> caresses -> caress motoring -> motor • Step 2: adj->n, n->v, n->adj, … – (m>0) OUSNESS -> OUS callousness -> callous – (m>0) ATIONAL -> ATE relational -> relate • Step 3: – (m>0) ICATE -> IC triplicate -> triplic • Step 4: – (m>1) AL -> – (m>1) ANCE -> revival -> reviv allowance -> allow • Step 5: – (m>1) E -> probate -> probat – (m > 1 and *d and *L) -> single letter controll -> control 25 N-Grams • Frequent n-grams are more likely to be meaningful phrases • N-grams form a Zipf distribution – Better fit than words alone • Could index all n-grams up to specified length – Much faster than POS tagging – Uses a lot of storage • e.g., document containing 1,000 words would contain 3,990 instances of word n-grams of length 2 ≤ n ≤ 5 ‫עוד שיטות‪...‬‬ ‫• דירוג לפי ‪( n-gram‬אוסף של מילים באורך ‪)n‬‬ ‫• דירוג לפי סוג המילה (פעולה‪ ,‬שם עצם וכו')‬ ‫– ‪)POS( Part of Speech‬‬ Google N-Grams • Web search engines index n-grams • Google sample: • Most frequent trigram in English is “all rights reserved” – In Chinese, “limited liability corporation” ‫דירוג תוצאות‬ • Early IR focused on set-based retrieval – Boolean queries, set of conditions to be satisfied – document either matches the query or not • like classifying the collection into relevant / non-relevant sets – still used by professional searchers – “advanced search” in many systems • Modern IR: ranked retrieval – free-form query expresses user’s information need – rank documents by decreasing likelihood of relevance – many studies prove it is superior Hopkins IR Workshop 2005 Copyright © Victor Lavrenko