DINFO-SPIDER是神州泰岳研发的互联网信息采集系统,该系统提供新闻媒体、论坛、社区、微博、微信和电商等网站公开数据的自动采集及清洗过滤功能。
咨询电话:010-57973008
依据院《中国船舶工业综合技术经济研究院十三五规划》(简称,十三五规划),《中国船舶工业综合技术经济研究院“十三五”信息化规划 (征求意见简稿)》(简称,信息化规划),《中国船舶工业综合技术经济研究院数据平台规划报告》(简称,平台规划),为贯彻中国船舶工业综合技术经济研究院打造“三个平台、提升三个能力”的要求,为中船研究院建设外网数据采集平台。
降低数据采集成本,有效提升数据采集的效率和覆盖范围。
目标导向,统筹规划。针对新型国防科技智库研究重点和业务模式,加强顶层设计,一次性提出系统总体方案;结合情报建设项目、科研项目和现有条件,统筹考虑建设重点和进度。既要满足当前研究工作和部门发展急需,尽快投入使用;又要预留未来发展空间,保证系统可扩展性。
面向院科研管理人员,基于国防科技决策支持系统现有系统,扩展互联网大数据采集功能,完善内外网信息交互、内网信息发布等功能。
建设的采集发布模块在技术上要采用(“云架构”后期基于云服务),具有开放性、可扩展性。
初步形成基于互联网云计算平台的大数据基础平台能力,利用现有的硬件条件,考虑租用云服务,建立安全可靠的数据交换系统和运营服务。
符合互联网等级保护规范,内网符合分级保护的要求。
架构设计符合院数据平台规划。
用于大量的互联网数据的采集,并需要对采集数据进行清洗输出。