本文共 1918 字，大约阅读时间需要 6 分钟。

由于我在网上找不到crawler的相关介绍博客所以写了这一片文章

简单使用

npm 安装：npm install crawler

var c = new Crawler({
       encoding:null,    jQuery:false,    //在每个请求处理完毕后将调用此回调函数    callback : function (error, res, done) {
              if(error){
               console.log(error);        }else{
               var $ = res.$;                //$ 默认为 Cheerio 解析器            //它是核心jQuery的精简实现，可以按照jQuery选择器语法快速提取DOM元素            console.log($("title").text());        }        done();    }});

然后往crawler队列里面不停的加url就行了，

//将一个URL加入请求队列，并使用默认回调函数c.queue('http://www.amazon.com');//将多个URL加入请求队列c.queue(['http://www.google.com/','http://www.yahoo.com']);

控制并发速度

爬虫框架一般都是同时去爬多个页面，但是速度过快会触发目标网站的反爬虫机制，也同时影响别人网站的性能。

控制最大的并发数量

var c = new Crawler({
       // 最大并发数默认为10    maxConnections : 1,    callback : function (error, res, done) {
           if(error){
               console.log(error);        }else{
               var $ = res.$;            console.log($("title").text());        }        done();    }});

使用慢速模式

var c = new Crawler({
       // `maxConnections` 将被强制修改为 1    maxConnections : 10,        // 两次请求之间将闲置1000ms    rateLimit: 1000,    callback : function (error, res, done) {
           if(error){
               console.log(error);        }else{
               var $ = res.$;            console.log($("title").text());        }        done();    }});

下载图片等静态文件

var c = new Crawler({
           encoding:null,    jQuery:false,	// set false to suppress warning message.    callback:function(err, res, done){
           if(err){
               console.error(err.stack);        }else{
               fs.createWriteStream(res.options.filename).write(res.body);        }                done();    }});c.queue({
           uri:"https://nodejs.org/static/images/logos/nodejs-1920x1200.png",    filename:"nodejs-1920x1200.png"});

转载地址：http://flqbi.baihongyu.com/