Skip to content

Latest commit

 

History

History
74 lines (46 loc) · 1.67 KB

README.md

File metadata and controls

74 lines (46 loc) · 1.67 KB

elk4spark

介绍

image

首次安装平台步骤

初始化安装(本机环境为anaconda的则跳过这一步)

cd dev_env/
bash zero_init_env.sh
  • 安装
cd dev_env/
bash docker_compose_run.sh
bash elasticsearch-head_run.sh
  • 采集流量协议日志
cd zeek/
bash get_pcap_for_test.sh
bash zeek_to_kafka.sh
  • 进行分析操作
elasticsearch数据查看:http://本机ip:9100
Kibana数据展示:http://本机ip:5601
python spark数据分析:http://本机ip:8888,Jupyter notebooks password is 'net-research'

已安装过,再次启动步骤

  • docker ps 查看当前容器状态

  • 如无意外,所有容器都应该正常启动着

(若发现某个容器掉了,执行docker-compose down后再运行docker_compose_run.sh重启容器,然后继续下面的步骤)

  • 此时,仅需执行bash elasticsearch-head_run.sh,将es-head重启即可

常见问题

1、conda下搭建平台注意事项

* 若所使用的环境为anaconda,请不要运行zero_init_env.sh!

2、相应web界面无法访问

解决办法:

  • 确认es容器是否正常启动
  • 尝试将ip地址改为服务器的对应地址(若使用的是由docker分配的服务器,请资讯管理员服务器的ip地址)
  • 若为本地虚拟机搭建,尝试将ip地址改为0.0.0.0或者localhost

3、notebook无法创建/保存文件 * 将elk_spark下的jupyter文件夹权限更改为777

References

https://github.com/coyiotis/ELK-SJ

https://github.com/zeek/zeek-docker

https://github.com/xuqinghan/docker-kafka