神州泰岳

现金娱乐中心平台介绍

Smart Spider是神州泰岳推出的一款爬虫型网络数据采集探针现金娱乐中心平台,可承载互联网舆情、互联网敏感内容侦测业务,Smart Spider通过爬虫技术,对各类关注的互联网数据进行爬取,为态势感知的web违规内容、风险特征数据获取提供手段。

优势特点

现金娱乐中心平台功能

适用场景

神州泰岳

高效稳定

Smart Spider现金娱乐中心平台具备高效稳定采集能力,可根据爬虫前置引擎的性能效果情况结合任务队列智能选择最优爬虫前置引擎执行爬取任务。

采集全面

不管是文本、图片,还是音频、视频,支持所有业务渠道的爬虫,满足各种采集需求。

深度爬取

Smart Spider现金娱乐中心平台能够基于内容匹配规则策略对关键文本内容、内容格式及上下的逻辑关系进行网站内容提取。

分布式部署和爬取

Smart Spider现金娱乐中心平台支持分布式部署,便于扩展。

支持多站点爬取

Smart Spider现金娱乐中心平台支持多站点爬取。

单节点高达百万级爬取量

Smart Spider现金娱乐中心平台单节点支持高达百万级爬取量。

内容爬取

Smart Spider采取浏览器模拟UA的方式通过智能任务处理机制对web站点内容信息进行爬取。

模板管理

神州泰岳的Smart Spider提供网站爬虫的模板配置管理功能,能够对网站爬取特征识别信息进行规则性的配置管理,从而快速适应不同目标网站的识别并获取站点页面内容。

任务管理

Smart Spider提供任务配置管理功能,主要包括: ? 支持任务的创建、修改、删除、检索、启动\停止控制管理。 ? 支持基于创建、任务、爬取目标网站等信息的任务检索并以列表方式进行呈现,展现内容包括:任务名称、创建时间、创建人、爬取站点目标。 ? 支持单次\频次方式的任务执行机制,频次执行设定支持时间周期模式。

两种任务执行模式

Smart Spider的任务执行支持单机任务执行与多集负载任务执行两种模式 ? 单机任务执行:将爬虫任务下发至指定单一爬虫前置引擎执行爬取任务; ? 负载任务执行:根据爬虫前置引擎的性能效果情况结合任务队列智能选择最优爬虫前置引擎执行爬取任务。

策略配置管理

Smart Spider提供内容匹配规则策略维护管理功能及任务执行频次间隔设定策略功能,灵活的针对不同站点及应用场景来进行网站内容提取及执行频率控制的策略配置。

检测任务监控

Smart Spider提供数据采集任务的监控功能,并可视化呈现任务执行状态,支持任务执行时长、任务是否异常终止的监控。

对互联网舆情、互联网敏感内容等各类关注的互联网数据爬取侦测;

对互联网舆情、互联网敏感内容等各类关注的互联网数据爬取侦测;

为上层的安全分析平台及安全运营平台提供web内容数据支持;

为上层的安全分析平台及安全运营平台提供web内容数据支持;