webmagic初体验

用Java写爬虫我选了webmagic,原因没别的,比起其他爬虫框架这个知道的早一些。看着文档跟百度鼓捣一天,基本功能是搞定了,写一篇文章记录下使用webmagic的过程和对其的理解,方便日后查阅。WebMagic简单实现爬虫再爬东西之前,先配置好请求头,因为现在网站一般都有反爬虫技术,所以把头弄好