简书爬虫

简书爬虫

此功能纯粹为个人意想功能,利用业余时间来学习Node。所有内容均已开源,欢迎各种PR和Fork。最后更新时间: 20161129。

项目

• 源代码

  • https://github.com/aimer1124/JianshuSpider

• 需求

  • Teambition-简书爬虫

• 效果图

  • Home
  • Article
  • Author
  • Collections
  • Search

• ShowCase

  • Home

  • Articles

  • Authors

  • Collections

  • Search
    

代码

• 启动

  • DB: sudo mongod

  • 程序: gulp

  • 测试: gulp test

• 版本

  • Node: 4.4.3

  • Mongo: 3.0.3

• 引用包列表

  • Backend

    • express: http://expressjs.com/,node web框架

      • body-parser: 请求数据体的转换中间件

      • cookie-parser: 请求头的cookie管理

      • debug: 调试工具

      • morgan: 日志中间件

      • serve-favicon: favicon中间件

    • async: https://github.com/caolan/async,异步框架

    • cheerio: https://github.com/cheeriojs/cheerio,加载html元素,并可使用jQuery进行操作

    • moment: http://momentjs.com,轻量级的时间转换库

    • mongoose: http://mongoosejs.com/,mongo的对象模型工具

    • node-schedule: https://github.com/node-schedule/node-schedule,Node的任务调度

    • SuperAgent: http://visionmedia.github.io/superagent/,模拟客户端HTTP请求

    • sleep: https://github.com/erikdubbelboer/node-sleep, 添加sleep等待时间

  • FrontEnd

    • HighCharts: http://www.highcharts.com,图表控件

    • jade: http://jade-lang.com/模板引擎

    • bootstrap: http://getbootstrap.com/,前端样式处理

    • bootstrap-table: 基于http://getbootstrap.com/的Table处理http://bootstrap-table.wenzhixin.net.cn/

    • bootstrap-select: 基于http://getbootstrap.com/的select处理https://silviomoreto.github.io/bootstrap-select/

  • Develop

    • browser-sync: http://browsersync.io浏览器数据同步框架

    • gulp: http://gulpjs.com构建工具

      • gulp-mocha: 运行mocha测试

      • gulp-nodemon: gulp的nodemon工具,用于监控 node文件变化

  • Test

    • cucumber: https://cucumber.io/,BDD测试

    • selenium-webdriver: http://www.seleniumhq.org/projects/webdriver/,用于Web自动化测试

    • chromedriver: https://seleniumhq.github.io/selenium/docs/api/java/org/openqa/selenium/chrome/ChromeDriver.html,使用Chrome可以在本机运行的WebDriver

    • should: https://github.com/shouldjs/should.js, 断言库

    • SuperTest: https://github.com/visionmedia/supertest, 将superagent-HTTP测试简单化

• 变更记录

  • history