【作者】 鲍钰；

【导师】 黄国兴；

【作者基本信息】 华东师范大学 ， 软件与理论， 2003， 硕士

【摘要】 WEB是一个巨大的信息来源地，但提供这些信息的网站结构是否合理，唯一的评估者是浏览它的用户。每次用户的访问都会在WEB服务器上登录一条访问日志，通过这条日志可以知道用户访问的URL，用户的IP地址以及访问时间等信息，本文意在通过对这些WEB日志的分析和挖掘开发出一个基于WEB日志挖掘的网站结构优化系统WSOS(an Web Structure Optimize System，以下简称WSOS)。使用本系统，管理者可随时获得用户对网站的潜在评估，掌握整个站点的资源访问情况以及找出不合理的网站结构并做适当的调整。 WSOS分为数据预处理，基于OLAP的数据仓库信息决策子系统和基于WEB日志挖掘算法的知识提取子系统三大部分。 数据预处理包括WEB日志的净化过滤，用户和会话的识别，以及路径填充(采用日志路径到真实路径的产生算法GTPFWLP[12])，这一部分主要为后面两个子系统服务。 基于OLAP的数据仓库信息决策子系统以巨量的原始日志为基础，通过引入事实表和维表，建立相应的数据仓库，并在其上使用OLAP技术进行各种决策统计，可以获得整个站点的资源访问情况，包括页面访问次数，文件大小求和，下载时间求和，最大文件大小，最大下载时间，平均文件大小和平均下载时间等。 基于WEB日志挖掘算法的知识提取子系统包括站点结构调整器(核心算法回溯点确定算法CBP[12])，访问模式挖掘器(核心算法前向访问路径截取算法TFAP[11]、WEB通用访问路径发现算法DGWAP[11])，页面关联规则挖掘器(核心算法页面关联规则发现算法PARD，其以apriori算法为基础添加了时序关系)和信息统计报表生成器等部分。这一子系统是WSOS的核心部分，通过站点结构调整器可以找到访问者期望的目标页面位置，并调整目标页面的引用超链到此期望点下，使站点结构更加合理。使用访问模式挖掘器可以知道用户的通用访问模式，从而可以标志出网站中的主干路径，适当调整广告的位置和删除极少访问的网站路径分枝，提高整个站点结构质量。页面关联规则挖掘器可以找出访问过A页面后，用户还可能访问哪些页面，并添加这些页面的引用超链到A页面下，从而简化用户的访问过程并减少网络带宽的占用。信息统计报表生成器是对最常见统计决策信息的图表显示，为人工修改站点结构提供了依据。更多还原

【Abstract】 Web is a huge information source, but only the user, who often visits the web site, can determine whether the structure of the web site is proper. Each visit of user will register a visit log on the web server. From the web log, we can get the information, such as: URL, which the user visited, the user’s IP address and the user’s visit time. In this paper, we develop a Web Structure Optimize System(WSOS) by analysis the web logs. Using WSOS, web manager can get the user’s latent evaluation to the web at any moment, adjust the improper web structure, and grasp the visit statue of the whole web site resource.WSOS includes the data preprocess, data warehouse subsystem based on OLAP technology, knowledge extraction subsystem based on web log mining.Data preprocess includes web log cleaning and filtering, user identification, session identification, and path fill (using algorithm GTPFWLP), which provides service for the two subsystem below.Data warehouse subsystem based on OLAP technology set up a data warehouse by using the huge web log, on which we can use OLAP technology, and master the visit statue of the whole web site resource.Knowledge extraction subsystem based on web log mining includes web site structure adjuster(algorithm CBP), visit pattern finder(algorithm TFAP, DGWAP), page association rule fmder(algorithm PARD), and information statistic reporter producer. This subsystem is the kernel of WSOS.更多还原