Публикации
А.А. Печников, А.В. Ланкин.
Разработка программы сбора данных о структуре веб-сайтов
// Труды КарНЦ РАН. No 8. Сер. Математическое моделирование и информационные технологии. 2016. C. 81-90
Ключевые слова: веб-сайт; гиперссылка; краулер; веб-граф
Наиболее распространенной математической моделью веб-сайта является веб-граф. Для построения веб-графа реального сайта требуются сведения о его структуре: html-страницах и/или документах сайта (в частности, об URL – адресах веб-ресурсов) и связывающих их гиперссылках. Веб-серверы часто используют псевдонимы и перенаправления, а также динамически генерируют одни и те же страницы по разным URL-запросам. Отсюда возникает проблема, которая заключается в наличии различных URL, имеющих один и тот же контент. Таким образом, мы можем получить веб-граф, у которого некоторые вершины соответствуют страницам сайта с одним и тем же контентом. В работе описывается поисковый робот (краулер) RCCrawler, основной задачей которого является сбор информации о веб-сайтах для построения их веб-графов, во многом решающий указанную проблему, что подтверждается проведенной серий экспериментов.
Индексируется в РИНЦ
Последние изменения: 15 сентября 2016