节点文献
WEB日志挖掘及其应用研究
Study on Web Log Mining and Applications
【作者】 鲍钰；
【导师】 黄国兴；
【作者基本信息】 华东师范大学 ， 系统分析与集成， 2010， 博士
【摘要】 WEB是一个非常巨大的信息来源地,不过提供这些信息的网站结构是否合理,唯一的评估者是访问浏览它的用户。每次用户的访问都会在WEB服务器上记录一条访问日志,根据这条日志可知用户访问此站点的URL,用户的IP地址以及访问时间等信息。我们通过对这些日志信息的分析和处理,可提取出访问者的WLP(Web Log Path)。分析这些WLP并挖掘出用户的通用行为模式,可以调整网站结构,优化系统性能,进一步提高对WEB终端用户的服务质量。本文意在通过对WEB日志的挖掘和用户访问模式的研究,开发出一套基于WEB日志挖掘的智能网站知识提取系统。该系统通过对WEB访问日志的分析,提出了真实路径获取算法,前向访问路径截取算法,可发掘出多用户的通用访问模式,单用户的个人喜好访问模式;提出了目标页面确定算法,页面关联规则发现算法,用于找出互联网目标页面间的隐链接;发现了回溯过多的不合理页面节点,从而调整和优化了现有的网站结构;提出了用户访问路径会话集发现算法,加权网站结构图生成算法,用于发掘WEB站点的频繁遍历主干子网,可以为生成3G手机应用的WAP子网提供参考;提出了单用户搜索关键字关联规则发现算法,可以为单个用户提供量身定做的个性化搜索引擎服务;提出了一种新的数据随机干扰处理方法,实现了隐私保护关联规则挖掘模型;以及采用数据仓库和OLAP技术,实现了挖掘信息的统计决策及图形化表示。本文研究的网站日志挖掘算法及应用模型是当前互联网海量信息处理研究较为活跃的一个领域,模型本身体现了较先进的思想。通过有针对性的各种网站日志挖掘算法,可以发现用户通用访问模式,找到网站页面间隐藏的关联规则,从而实现网站结构的改进策略,以及在电子商务网站中实现最大的商机撮合。
【Abstract】 Web is a huge information source, but only the user, who often visits the web site, can determine whether the structure of the web site is proper. Each visit of user will register a visit log on the web server. From the web log, we can get the information, such as: URL, which the user visited, the user’s IP address and the user’s visit time. In this paper, we develop an intelligence website knowledge extraction system by analysis the web logs. Using it, web manager can get the user’s latent evaluation to the web at any moment, adjust the improper web structure, and grasp the visit statue of the whole web site resource.Intelligence website knowledge extraction system includes the data preprocess, data warehouse subsystem based on OLAP technology, knowledge extraction subsystem based on web log mining. By analyzing the Web logs, the system can discover general web access patterns; find the target pages association rule; implement the adjustment and reorganization of website organization; get the major sub web site structure for the mobile phone visitors; discover the personalized search engine model; present an effective method for privacy preserving association rule mining model. Data warehouse subsystem based on OLAP technology set up a data warehouse by using the huge web log, on which we can use OLAP technology, and master the visit statue of the whole web site resource.As shown in the experimental results, the algorithms presented in the intelligence website knowledge extraction system can achieve significant improvements in terms of privacy, accuracy, efficiency, and applicability.