ZDNS
2021-1-1 18:16 更新
项目简介: 该项目的是移动提供DNS日志数据抓取权限,多个第三方公司抓取数据,保存成不同形式并以不同形式给我公司,我司做转换分析后发送给网安和信管。 目的是对于异常数据进行告警。 数据输入端: 输入端因为各家公司形式不同,会有几个端,有sftp上传形式、有接口调用上传形式(包括gzip和非gzip) 数据中台: 提供各种上传接口 提供图形化界面展示用http接口和websocket接口 提供告警socket接口(有个第三方要,具体做啥我也不清楚,包我来造,数据格式对方指定) 原始数据统一化处理 对统一化后数据分析处理 按输出需求又分为: 1.给到网安他们要的统计数据 2.给到信管他们要的统计数据 3.给到自己持久化数据库数据用于图形化界面的http调用 4.给到socket需求方推送数据(这里其实用http event-server就可以)对方坚持要socket。 使用技术: Golang、原生代码分割分析原始数据、主要是并发处理以行为单位进行并发。 配置文件使用UNIX风格。 本系统产生的日志,使用rsyslog记入。 已做垂直分离服务器由于都是Golang程序,未用grpc,使用原生RPC保证性能 有做水平扩展准备,但是未用上 有做读写分离准备,配置文件中可以输入一主多从数据库信息,实际中没用上