Skip to content

Commit

Permalink
Merge pull request #4 from Cl0udG0d/test
Browse files Browse the repository at this point in the history
+ 返璞归真,去除账号登录,直接使用时间戳来在第一页进行爬取
  • Loading branch information
Cl0udG0d authored Mar 7, 2023
2 parents 201192a + 486eb33 commit c715acc
Show file tree
Hide file tree
Showing 7 changed files with 124 additions and 360 deletions.
69 changes: 20 additions & 49 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,12 +2,10 @@

### 简介

非付费会员,fofa数据无限抓取版 , 配置FoFa普通用户账号密码即可使用

在当前的Fofa机制下,普通用户本月最多只能获取3000条数据,等待`Fofa-hack``1.4.0`版本更新吧
非付费会员,fofa数据无限抓取版,一整个返璞归真

使用示例
> python fofa.py --username fofa_hack_test --password Test123456 -k app="ThinkPHP" -t 5
> python fofa.py --keyword thinkphp --endcount 100
### 安装

```shell
Expand All @@ -21,36 +19,8 @@ pip install -r requirements.txt
```

### 配置
有三种方式配置登录账号

#### 1.运行传值
传入`--username``--password` 参数
> Fofa-hack>python fofa.py --username fofa_hack_test --password Test123
#### 2.配置config.py
配置`config.py`中的`fofa_account`,支持多账号
```json
fofa_account=[
{
"fofa_username" : "test@email.com",
"fofa_password" : "12345678"
},
{
"fofa_username" : "test1@email.com",
"fofa_password" : "12345678"
}
]
```

也就是你的FOFA账号密码

#### 3.配置fofa_cookie.txt文件
将下图中的cookie直接复制到`fofa_cookie.txt`文件里,这样在启动的时候Fofa-hack就会识别到并且直接使用cookie爬取了

注意不是`Authorization`

`cookie`的位置如下
![](https://github.com/Cl0udG0d/Fofa-script/blob/master/images/2.png)
无需账号直接使用

### 运行

Expand All @@ -61,42 +31,43 @@ fofa_account=[
> python3 fofa.py --help
```shell
Fofa-hack>python fofa.py --help
Fofa-hack>python fofa.py --help

____ ____ ____ ____
| ===|/ () \| ===|/ () \
|__| \____/|__| /__/\__\
_ _ ____ ____ __ __
| |_| | / () \ / (__`| |/ /
|_| |_|/__/\__\\____)|__|\__\ V1.3.0
|_| |_|/__/\__\\____)|__|\__\ V2.0.0
usage: fofa.py [-h] [--timesleep TIMESLEEP] --keyword KEYWORD
[--username USERNAME] [--password PASSWORD] [--endpage ENDPAGE]
[--level LEVEL]
Fofa-hack v1.3.0 使用说明
usage: fofa.py [-h] [--timesleep TIMESLEEP] --keyword KEYWORD
[--endcount ENDCOUNT] [--level LEVEL] [--output OUTPUT]
Fofa-hack v2.0.0 使用说明
optional arguments:
-h, --help show this help message and exit
--timesleep TIMESLEEP, -t TIMESLEEP
爬取每一页等待秒数,防止IP被Ban,默认为3
--keyword KEYWORD, -k KEYWORD
fofa搜索关键字,默认为test
--username USERNAME, -u USERNAME
fofa用户名
--password PASSWORD, -p PASSWORD
fofa密码
--endpage ENDPAGE, -e ENDPAGE
爬取结束页码
--endcount ENDCOUNT, -e ENDCOUNT
爬取结束数量
--level LEVEL, -l LEVEL
爬取等级: 1-3 ,数字越大内容越详细,默认为 1
--output OUTPUT, -o OUTPUT
输出格式:txt、json、csv,默认为txt
```

爬取的结果会存储到`md5(搜索关键字)_运行时间戳.txt`文件中

### 测试

输入 搜索关键字 `app="ThinkPHP"`,等待秒数为5的情况下,下载1-50页数据经过测试无问题,经过自动去重之后剩余497条
使用命令

> python fofa.py --keyword thinkphp --endcount 100

爬取一百条数据轻轻松松

### 赞赏列表

Expand Down Expand Up @@ -139,8 +110,8 @@ optional arguments:
<td>防止程序因为各种情况运行失败或者被ban的情况</td>
</tr>
<tr>
<td>内容去重</td>
<td>去除重复的url信息</td>
<td>持续突破</td>
<td>使用高级语法提高搜索准确率</td>
</tr>
</table>
</details>
Expand Down
10 changes: 1 addition & 9 deletions config.py
Original file line number Diff line number Diff line change
Expand Up @@ -6,21 +6,13 @@
# @Github: https://github.com/Cl0udG0d


fofa_account=[
{
"fofa_username" : "fofa_hack_test",
"fofa_password" : "Test123456"
},
]


SearchKEY = ""
TimeSleep = 5



# Fofa-hack 版本号
VERSION_NUM="1.3.0"
VERSION_NUM="2.0.0"
# 登录最大重试次数
MAX_LOGIN_RETRY_NUM=3
# 页面URL获取最大重试次数
Expand Down
4 changes: 4 additions & 0 deletions docs/CHANGELOG.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,9 @@
# CHANGELOG 代码变更记录

### 2.0.0

+ 返璞归真,去除账号登录,直接使用时间戳来在第一页进行爬取

### 1.3.1

+ 支持多种导出方式 txt,json,csv
Expand Down
Loading

0 comments on commit c715acc

Please sign in to comment.