Skip to content

Commit

Permalink
Update README.md
Browse files Browse the repository at this point in the history
  • Loading branch information
Qianlitp authored May 21, 2021
1 parent 3715c34 commit edbe6a2
Showing 1 changed file with 4 additions and 13 deletions.
17 changes: 4 additions & 13 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,10 +1,10 @@
# crawlergo

![chromedp](https://img.shields.io/badge/chromedp-v0.5.2-brightgreen.svg) ![Chromium version](https://img.shields.io/badge/chromium-79.0.3945.0-important.svg) ![SKP](https://img.shields.io/badge/Project-360天相-blue.svg)
![chromedp](https://img.shields.io/badge/chromedp-v0.5.2-brightgreen.svg) ![Chromium version](https://img.shields.io/badge/chromium-79.0.3945.0-important.svg)

> A powerful dynamic crawler for web vulnerability scanners
> A powerful browser crawler for web vulnerability scanners
crawlergo是一个使用`chrome headless`模式进行URL入口收集的**动态爬虫**。 使用Golang语言开发,基于[chromedp](https://github.com/chromedp/chromedp) 进行一些定制化开发后操纵CDP协议,对整个页面关键点进行HOOK,灵活表单填充提交,完整的事件触发,尽可能的收集网站暴露出的入口。同时,依靠智能URL去重模块,在过滤掉了大多数伪静态URL之后,仍然确保不遗漏关键入口链接,大幅减少重复任务。
crawlergo是一个使用`chrome headless`模式进行URL入口收集的**浏览器爬虫**。 使用Golang语言开发,基于[chromedp](https://github.com/chromedp/chromedp) 进行一些定制化开发后操纵CDP协议,对整个页面关键点进行HOOK,灵活表单填充提交,完整的事件触发,尽可能的收集网站暴露出的入口。同时,依靠智能URL去重模块,在过滤掉了大多数伪静态URL之后,仍然确保不遗漏关键入口链接,大幅减少重复任务。

crawlergo 目前支持以下特性:

Expand Down Expand Up @@ -180,20 +180,11 @@ https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-te

![](./imgs/bypass.png)

## 关于360天相

crawlergo是[**360天相**](https://skp.360.cn/)的子模块,天相是360自研的**资产管理与威胁探测系统**,主打强大的资产识别能力和全方位分析体系,拥有高效率的扫描能力,核心技术由 [360 0KeeTeam](https://0kee.360.cn/) 和 [360 RedTeam](http://redteam.360.cn/) 提供支持。

![](./imgs/skp.png)

详情请访问:[https://skp.360.cn/](https://skp.360.cn/)



## Follow me

如果你有关于动态爬虫的想法,欢迎和我交流。

微博:[@9ian1i](https://weibo.com/u/5242748339) Github: [@9ian1i](https://github.com/Qianlitp)

相关文章:[漏扫动态爬虫实践](https://www.anquanke.com/post/id/178339)
相关文章:[漏扫动态爬虫实践](https://www.anquanke.com/post/id/178339)

0 comments on commit edbe6a2

Please sign in to comment.