node-cnblogs-spider

目的

用来爬取博客园的文章 并将文章转成.md存储至本地

安装&使用

npm install node-cnblogs-spider --save

var ncs = require('node-cnblogs-spider')
ncs([
    http://xxxx,
    http://xxxx
])

使用的轮子

var request = require('request');
var toMarkdown = require('to-markdown');
var cheerio = require('cheerio');
var Promise = require('bluebird')

request封装了http请求

to-markdown用来将html转md的轮子

cheerio类似于Sizzle的nodejs的实现

bluebird是对es6种Promise方法的封装与拓展库

nodejs的异常与错误处理需要注意

这两篇文章值得一看:

[译] NodeJS 错误处理最佳实践

Nodejs异步异常处理domain

注意点

使用Promise尽量脱离回调地狱，使得代码可读性更高

html转md格式的轮子还是有缺陷的,不然完美展现出.md

生成本地文件使用的是stream实现，效率更高。但是要注意文件的命名规范。

截图