爬虫

网站日记阐发都能够得到什么数据？

网站日记该阐发哪些数据呢?从根底信息、目次抓取、时间段抓取、IP抓取、形态码那几点来阐发： 　　第一、根底信息 　　下载一个网站日记文件东西获取根底信息：总抓取量、停留时间(h)及拜候次数;通过那三个根底信息能够算出：均匀每次抓取页数、单页抓取停留时间深圳新闻网首页，然后再用MSSQL提取蜘蛛独一抓取量，按照以上的数据算出爬虫反复抓取率： 　　均匀每次抓取页数=总抓取量/拜候次数 　　单页抓取停留时间=停留时间*3600/总抓取量 　　爬虫反复抓取率=100%—独一抓取量/总抓取量 　　统计出一段时间的...