大数据库
建设统一的大数据基础平台,包括大数据存储、计算、分析、处理、管控、运维等能力。
数据采集子系统
数据采集需要实现全区各委办的数据采集功能,包括离线采集、准实时采集和实时采集。 采集技术根据各委办的业务数据实施。
数据治理子系统
建设大数据治理子平台,提供数据标准管理、元数据管理、数据质量管理能力,实现数据的标准化治理和管理; 提供数据工厂能力,对采集到的数据进行清洗和处理,支持业务数据应用需求。数据资源中心
本项目需要制定全区公共数据汇聚的标准规范和管理制度,收集全区各单位的政府公共数据,形成XX市的数据资源湖。 同时,数据经过清洗、转换、整合、管理后,形成优质的公共数据资源,构建XXX标准化数据仓库。
基于区数据资源湖,可利用托管数据收集特定领域的业务数据和应用需求,形成专题数据库和学科数据库,并向政府部门和社会开放。 此外,我们还将继续开展和深入探索应用领域的应用主题或主题库建设,为区域内多个部门提供协同的数据共建、共享和通用数据服务。
数据共享子系统
为了减少不同委托大数据服务中公共模块的重复,实现对外服务的标准化、安全管理和成功案例的快速复制,最大程度地吸引外部开发能力,构建大数据对外基础平台服务提供数据交换管理,自助数据探索、个性化推荐、行业标签等常用服务功能,实现大数据对外服务的快速部署。
数据共享服务建设将要求功能和接口以应用需求为导向,探索政务服务、市场监管、城市管理、社会治理等领域的公共数据共享应用,为跨区域服务提供数据支撑。协同发展。
包括数据交换和服务管理,支持结构化数据库表传递、文件共享、API接口共享、非结构化数据共享、接口代理等多种数据共享方式。
门户子系统
依托XX市大数据资源平台项目拓展功能。 主要包括消息推送、数据推送、个人信息管理、系统管理等功能。
建立数据开放门户:主要实现数据目录、数据接口、数据应用、数据地图、地图数据、交互通讯、数据开发人员、辅助事项、个人管理等各类门户目录的建设。包括业务流程应用、显示、统计、查询等功能。
统一运维子系统
为了实现XXX大数据资源平台下的高效运维,我们提供标准化的监控管理指标和数据,对云资源、应用程序和业务对象进行性能数据管理、运行状态监控和报警管理,及时发现异常情况和潜在的问题。 ,对云管理运行过程中的监控、容量使用等运维数据进行深入分析,确保大数据资源平台稳定高效运行和资源安全合理配置。 构建数据资产一站式可视化管理,监控数据生产全过程,实现数据资产谱系和信息资源目录的统一管理。
数据安全管理子系统
大数据资源平台应具备完善的安全策略控制体系,通过流量监控、防火墙、内容审计等手段实现全方位、多层次的监控和防护,保证平台的可靠性、安全性、高效性和事件行为数据传输。 可追溯性。 大数据资源平台需要充分利用平台各组件固有的安全能力,通过定制化开发标准化的解决方案并与各组件集成,实现安全能力的全局赋能,包括统一身份和权限管理、统一敏感信息等。数据发现、统一加密和密钥管理、统一数据脱敏、统一用户行为分析和数据安全态势感知。建设目标
XXX大数据资源平台项目建设的主要目标是建设统一的大数据资源管理平台,建设标准化数据仓库和基础集成数据库建设,为全区政务处理、经济建设等实现数据赋能。发展、社会民生、城市管理。
本项目旨在通过大数据资源平台(一期)的建设,打造能够承载市级大数据资源平台的区级数据平台,通过城市级联实施,同时建设区级大数据资源平台。数据的采集、管理、共享等操作。 建立区级“三单一目录”和综合库,与区级委托单位形成互联互通机制,为区级各类业务应用场景提供数据支撑服务,保障各类业务应用满足市级下发的“一网通”要求,满足两网建设、“一网统一管理”以及区级数据运营考核的相关业务要求。
整体架构
XXX大数据资源平台以基础设施(网络、技术、存储)、技术标准体系规范和信息安全保障体系为基础,建设数据支撑基地、数据交换、数据资源中心(基础数据库和综合数据库)、数据整理和管理。 、数据服务、数据分析、数据共享应用和数据资源门户模块,并实现与XX大数据资源平台的共享和交换。
整体架构图
本项目总体结构如下:
平台架构关系