正文内容加载中...
posted @ 2020-02-20 10:37 MikeCheers 阅读 (183) 评论 (1)
摘要:之前的章节也略有提及反爬策略,本节,我们就来系统的对反爬、反反爬的种种,做一个了结。 从防盗链说起: 自从论坛兴起的时候,网上就有很多人会在论坛里发布一些很棒的文章,与当下流行的“点赞”“分享”一样,很多人都会因为“欣赏”而选择“转发”到各大论坛。今时今日,我们大多数人在转载他人文章时,还会特别注明 阅读全文
posted @ 2020-02-19 13:03 MikeCheers 阅读 (463) 评论 (1)
摘要:今天正式开一本新书,《C# GDI+ 破镜之道》,同样是破镜之道系列丛书的一分子。 关于GDI+呢,官方的解释是这样的: GDI+ 是 Microsoft Windows 操作系统的窗体子系统应用程序编程接口 (API)。 GDI+ 是负责在屏幕和打印机上显示的信息。 顾名思义,GDI+ 是包含 G 阅读全文
posted @ 2020-02-19 09:17 MikeCheers 阅读 (289) 评论 (0)
摘要:在上一节中,我们完成了一个简单的采集示例。本节呢,我们先来小结一下,这个示例可能存在的问题: 没有做异常处理 没有做反爬应对策略 没有做重试机制 没有做并发限制 …… 呃,看似平静的表面下还是隐藏着不少杀机的…… 但本节不打算对付上述问题,而是先关注一个隐藏更深的问题,这个问题,可能会牵扯很多人(包 阅读全文
posted @ 2020-02-18 09:28 MikeCheers 阅读 (176) 评论 (0)
摘要:之前的章节,我们陆续的介绍了使用C#制作爬虫的基础知识,而且现在也应该比较了解如何制作一只简单的Web爬虫了。 本节,我们来做一个完整的爬虫系统,将之前的零散的东西串联起来,可以作为一个爬虫项目运作流程的初探,但实际项目中,还需要解决其他一些问题,我们后续章节也将继续深耕:) 先来看一下葡京在线网投的整 阅读全文
posted @ 2020-02-17 09:15 MikeCheers 阅读 (244) 评论 (0)
摘要:背景: 工作机器上安装了4个T的磁盘,包含很多食之无味、弃之可惜的历史项目文件、学习资料(文本、视频),毕竟十多年的积累,基本都在,但却凌乱不堪,想找点儿什么,也似大海捞针。 目标: 历史项目 以项目名称创建根目录,划分源码文档、需求文档、设计文档、资源文件、数据库、编译输出、加壳加密、交付历史等子 阅读全文
posted @ 2020-02-10 18:23 MikeCheers 阅读 (23) 评论 (0)
摘要:续上一节内容,本节主要讲解一下Web压缩数据的处理方法。 在HTTP协议中指出,可以通过对内容压缩来减少网络流量,从而提高网络传输的性能。 那么问题来了,在HTTP中,采用的是什么样的压缩格式和机制呢? 首先呢,先说压缩格式,主要有三种: DEFLATE,是一种使用 Lempel-Ziv 压缩算法( 阅读全文
posted @ 2020-01-19 10:34 MikeCheers 阅读 (379) 评论 (0)
摘要:续上一节内容,对Web爬虫进行进一步封装,通过委托将爬虫自己的状态变化以及数据变化暴露给上层业务处理或应用程序。 为了方便以后的扩展,我先定义一个蚂蚁抽象类(Ant),并让WorkerAnt(工蚁)继承自它。 [Code 2.2.1] 1 using System; 2 3 public abstr 阅读全文
posted @ 2020-01-16 01:28 MikeCheers 阅读 (70) 评论 (0)
摘要:首先欢迎您来到本书的第二境,本境,我们将全力打造一个实际生产环境可用的爬虫应用了。虽然只是刚开始,虽然路漫漫其修远,不过还是有点小鸡冻:P 本境打算针对几大派生类做进一步深耕,包括与应用的结合、对比它们之间的区别、综合共性、封装。One-By-One。 System.IO.Packaging.Pac 阅读全文
posted @ 2020-01-14 20:02 MikeCheers 阅读 (87) 评论 (0)
摘要:在第一境中,我们主要了解了爬虫的一些基本原理,说原理也行,说基础知识也罢,结果就是已经知道一个小爬虫是如何诞生的了~那么现在,请默默回想一下,在第一境中,您都掌握了哪些内容?哪些还比较模糊?如果还有什么不清楚或不牢固的地方,建议还是先返回去再看一遍,毕竟看比我写要快得多~ 如果都掌握差不多了,OK, 阅读全文
posted @ 2020-01-13 21:35 MikeCheers 阅读 (63) 评论 (0)