Skip to content

Latest commit

 

History

History
61 lines (41 loc) · 2.12 KB

README.md

File metadata and controls

61 lines (41 loc) · 2.12 KB
Raw

Python-Crawl-UnityAssetStore

使用 IPProxyTool 获取的代理 IP 抓取 Unity 官方插件商店 AssetStore。历时四个小时共抓取 AssetStore 商店 34131 个插件信息。

##运行环境： python 2.7.12 ###运行依赖包

###安装 Mysql

  • 安装 Mysql 并启动
  • 安装 mysql-connector-python 安装参考

##下载使用 将项目克隆到本地

$ git clone https://github.com/awolfly9/unity.git

进入工程目录

$ cd unity

修改 mysql 数据库配置 config.py 中 database_config 的用户名和密码为数据库的用户名和密码

$ vim config.py
---------------

database_config = {
	'host': 'localhost',
	'port': 3306,
	'user': 'root',
	'password': '123456',
}

运行爬虫

$ python main.py

##项目说明 该项目默认使用 IPProxyTool 获取到的关于 unity AssetStore 的代理抓取 assetstore 商店。 而且在使用时，确保 IPProxyTool 中验证出了有效的代理 IP。如果单纯测试爬虫不设置代理，可以在 settings 修改 IS_USE_PROXY = False 。

抓取到的完整数据已经上传到百度云，可以直接下载 （密码 base64：NzZudQ==） 后和 exporttosql.py 放置在同一目录，然后运行 exporttosql.py 导入数据库中。

##TODO

  • 关于 assetstore 插件数据进行分析