【摘要】 网络机器人是搜索引擎中的核心部分,其首要步骤是获取页面内容来分析和追踪其包含的链接,以便搜索更多的网页。出于某些安全和商业因素,有些网站的相关内容必须要在有效用户登录后才可以查看,所以其相关页面的下载,首先需要通过身份验证。这就需要使用HTTP用户认证机制来判别用户身份,本文主要论述了怎么样用C#来实现通过HTTP用户认证实现页面下载。更多还原

【Abstract】 Web robot is a web site search engine submitter.Web robot gets(download) the web page’s content first,then analyzes and tracks hyperlinks in the downloaded page,in order to search for more web sites.But under many circumstances,the access to the web pages is limited by some web sites for security reasons.Only those authorized users can access the access-controlled web pages.HTTP User Authentication on the client site is used to determine whether a user is authorized.We implemented the web page download with the user Authentication using C# language.更多还原