原创

node crawler 添加 promise 支持

戎码一生
2 条评论
14 人喜欢
470 次阅读
全文共 711 预计阅读时长 4 分钟

背景

最近在组内做一些爬虫相关的工作,本来想自己简单造个轮子的,但是经网友推荐后,采用了 node-crawler ,用了一段时间过后,确实满足了我的绝大部分需求,但是其 api 却不支持 promise,而且我还需要一些同步爬取、同步处理的能力,如果不用 promise 的话,写法很不优雅,所以我就简单地给其封装了一层 promise api

现状

目前 node-crawler 的使用方式不支持 promise ,这里直接给出 npm 上的使用例子

const Crawler = require("crawler")

// 实例化
const c = new Crawler({
    // ... 可以传入一些配置
    callback : function (error, res, done) {
        // 请求回调,实例化的时候传入的 callback 是作为默认 callback 的,后续每次抓取如果没有传入 callback,那么都会调用默认 callback
        done();
    }
})

// 爬取
c.queue([{
    uri: 'http://parishackers.org/',
    jQuery: false,

    // The global callback won't be called
    callback: function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            console.log('Grabbed', res.body.length, 'bytes');
        }
        done();
    }
}])

这样的回调方式对于多爬虫同步爬取很不友好

改造

理想使用方式:

const Crawler = require('crawler')

const c = new Crawler({
    // 一些默认配置
})

c
.queue({
    uri: 'xxx'
})
.then(res => {
    // 抓取成功
})
.catch(err => {
    // 抓取失败
})

改造方案:

// utils/crawler.js
const Crawler = require('crawler')
const defaultOptions = {
  jQuery: false,
  rateLimit: fetchRateLimit,
  retries: 0,
  timeout: fetchTimeout,
}

module.exports = class PromiseifyCrawler extends Crawler {
    // namespace 是为了后续抓取结果统一上报时候进行区分
    constructor(namespace = 'unknow', options = {}) {
      if (typeof namespace === 'object') {
        options = namespace
        namespace = 'unknow'
      }

      options = merge({}, defaultOptions, options)

      const cb = options.callback
      options.callback = (err, res, done) => {
        typeof cb === 'function' && cb(err, res, noop)
        process.nextTick(done)
        // 在这里可以自定义抓取成功还是失败
        // 我这里直接设置的是如果 http code 不是 200 就视为错误
        // 而且在这里也可以做一些抓取成功失败的统计
        if (err || res.statusCode !== 200) {
          if (!err) err = new Error(`${res.statusCode}-${res.statusMessage}`)
          err.options = res.options
          err.options.npolisReject(err)
        } else {
          res.options.npolisResolve(res)
        }
      }
      options.headers = Object.assign({}, options.headers, {
        'X-Requested-With': 'XMLHttpRequest',
      })
      super(options)
    }

    queue(options = {}) {
      // 每次抓取都是一个新的 promise
      return new Promise((resolve, reject) => {
        // 然后在 options 里挂载上 resolve 和 reject
        // 这样在全局 callback 上就可以用到了
        options.npolisResolve = resolve
        options.npolisReject = reject

        const pr = options.preRequest
        options.preRequest = (options, done) => {
          typeof pr === 'function' && pr(options, noop)
          // 在这里也可以做一些通用的抓取前的处理

          done()
        }

        super.queue(options)
      })
    }

    // direct api 同理
  }
// 使用
const Crawler = require('./utils/crawler')

const crawler = new Crawler('示例爬虫 namespace')

crawler
.queue({
  uri: 'xxx',
  preRequest: options => log('开始抓取'),
})
.then(res => {
  log('爬取成功')
  return res
})
.catch(err => {
  log('爬取失败')
  throw err
})

promise 化后,多个爬取任务同步爬取写法就友好多了:

// 抓取任务1
const fetchTask1 = () => crawler.queue({/* 配置 */}).then(res => handle(res))
// 抓取任务2
const fetchTask2 = () => crawler.queue({/* 配置 */}).then(res => handle(res))

const fetch = () => {
    return Promise.all([
        fetchTask1(),
        fetchTask2(),
    ])
}

fetch()

这样就完成了对 node-crawler 的 promise 化改造了

相关文章
2 条评论
Windows 10 Chrome | 68

‘<script>alert('test')</script>‘

回复
Windows 10 Chrome | 68

[`` 😆 ](url)

《[`` 😆 ](url)》

回复

我的终点,与幸福同在。

—— 掌中tiger 《AIR》