Skip to content

suyuanhxx/crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

31 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

golang tumblr爬虫

  1. sites.txt中添加指定tumblr主页,比如http://allthingseurope.tumblr.com/只需要添加allthingseurope
  2. 多条分行添加
  3. 代理,默认使用本地代理127.0.0.1:1080端口代理。如需修改请将common/proxyHttp.go中的127.0.0.1:1080改成自己代理。
  4. 目前已完成图片和视频的下载
  5. 采用channel控制并发,goroutine有点少,下载速度一般
  6. 代码进一步优化,修复空指针问题
  7. 已采用waitGroup控制并发,最大程度开启goroutine,下载速度飞快,但一般情况下会将机器直接卡死......

About

爬取tumblr关注博主图片

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages