淘宝代码链接 淘宝 代码( 二 )


【淘宝代码链接 淘宝 代码】https://github.com/leyle/163spider
15. doubanspiders – 豆瓣电影、书籍、小组、相册、东西等爬虫集
https://github.com/fanpei91/doubanspiders
16. QQSpider – QQ空间爬虫,包括日志、说说、个人信息等,一天可抓取 400 万条数据 。
https://github.com/LiuXingMing/QQSpider
17. baidu-music-spider – 百度mp3全站爬虫,使用redis支持断点续传 。
https://github.com/Shu-Ji/baidu-music-spider
18. tbcrawler – 淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息,数据存储在mongodb 。
https://github.com/pakoo/tbcrawler
19. stockholm – 一个股票数据(沪深)爬虫和选股策略测试框架 。根据选定的日期范围抓取所有沪深两市股票的行情数据 。支持使用表达式定义选股策略 。支持多线程处理 。保存数据到JSON文件、CSV文件 。
https://github.com/benitoro/stockholm
20. BaiduyunSpider - 百度云盘爬虫 。
https://github.com/k1995/BaiduyunSpider
21. Spider - 社交数据爬虫 。支持微博,知乎,豆瓣 。
https://github.com/Qutan/Spider
22. proxy pool - Python爬虫代理IP池(proxy pool) 。
https://github.com/jhao104/proxy_pool
23. music-163 - 爬取网易云音乐所有歌曲的评论 。
https://github.com/RitterHou/music-163


特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。