SEARCH ENGINENEWS COLLECTION SYSTEM

Nguyen Duc Phu<nducphu@gmail.com>

WHY WE DO?

1 2 3 4

sport relax business other

1 2

3 4

One channel?

1. Web crawling ( or spider, bot, crawler, web worm, robot…)

2. Indexing

3. Searching

SIMPLE SEARCH ENGINE

keyword

Result

Spider Engine

News Sources

Vnexpress Dantri ...

Data Server

1. GATHER DATA

2. SEARCH

Data Server

End Users

FLOW

Spider Engine

DATABASE

FLOW ONE: GATHER DATA

SPIDER ENGINE

TEXT PARSER

DATA HANDLE

WHAT IS TEXT PARSER?

TEXT

PARSER

Domain: vnexpress.net

Subject: Giá xăng dầu giảm xuống còn 11 ngàn

Time: 10:30, 12-12-2008

Descripton: Một quan chức thuộc Bộ Tài chính cho biết về khả năng tăng giá xăng dầu...

Images: Yes (no)

ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg

SourceURL:http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/

Other...

WHAT IS DATA HANDLE?

DATA HANDLE

DATA RETURN BY TEXT PARSER

Tags: giá xăng dầu, giá xăng, giảm giá, xăng dầu, kinh tế, năng lượng...

Time: 10:30, 12-12-2008

Images: Yes (no)

ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg

SourceURL:http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/

Etc...

LAYOUT STRUCTURE

v

v

Block 1

Block 2

Block 3

Block 0

HOW IS TEXT PARSER WORK?

DATA RETURN BY TEXT PARSER

DUPLICATE DATA

DATA HANDLED

INDEXING

TAGS MAKER

DICTIONARY

CUSTOME TAGS

TAGS PARSE

DATA HANDLE

DICTIONARY

Giá xăng dầu giảm xuống còn 11 ngàn

Giá xăng, giá dầu, xăng dầu, 11 ngàn, giảm xuống, xuống còn, giá xăng dầu,...

Giá xăng, xăng dầu, giá xăng dầu, giảm xuống...

CUSTOME TAGS

Giá xăng, xăng dầu, giá xăng dầu, kinh tế, năng lượng,...

TAGS MAKER

TAGS PARSE

WHAT’S TAGS MAKER?

TAGS PARSERVietnamese Rule

Giá xăng dầu giảm ...1 2 3 4 - Maximum length: 3-5

- Minimum: 2 (1?)

Giá+xăng Giá+dầu Giá+giảm xăng+dầu dầu+giảm

giá+xăng+dầu?

1 2 3 41 3 3241

1 2 3

a+b+c

a<b<c

MORE EXAMPLE

Thị trường chứng khoán

Họp quốc hội

3 : odd number

tag-name,

tag-name..

4: even number

tag-name,

tag-name..

FLOW 2:SEARCHING

Keyword

Keyword Analysis

Keyword Filter

Tags Parser

Ranking Keyword

HOW WE DO?

RESULTS

Normal

Mai Phương Thúy

Mai Phuong Thuy

Wrong

MaiPhuong Thuy

.^Mai-Phuong*%Thuy

Site regular

dantri: mai phuong thuy,

{today}mai phuong thuy

mai phuong thuy, mai phương thúy

Remove special character

Bad word

Type classification

KEYWORD FILTER

mai phuong thuy, mai phương thúy

TAGS PARSER

Mai Phương Thúy, Mai Phương, Phương Thúy

Ranking Keyword

SEARCHING PROCESS

MADE IN VIETNAM

DO ANYTHING YOU WANT TO

THANKSHave Question?