• 姚晨马伊琍首次对戏大银幕 2019-05-14
  • 人民网评:核心技术是强国之匙 2019-04-29
  • 坚持问题导向 从严整改到位 刘强来吉督导 胡世忠王少玄陪同 2019-04-15
  • 黄淳的专栏作者中国国家地理网 2019-04-15
  • 索尼4K屏旗舰降至冰点 售价仅2499元 2019-04-12
  • 男子抢劫杀人为“找钱”创业 司机装死逃命 2019-03-24
  • 工信部:鼓励婴幼儿配方乳企质量安全追溯体系建设 2019-03-22
  • 你遇到了吗用户吐槽升iOS 11.4后耗电过快用户吐槽升iOS11后耗电过快-行情资讯 2019-02-22
  • 快看,这是贫穷的德国 2019-02-22
  • 大数据能力共享平台 Big data Ability sharing platform(CSP)

    大数据能力共享平台(CSP)是站在现有市场大数据底层平台(CDH、HDP、D+ 、FunionInsight等)之上的、集大数据数据采集、数据处理、数据建模、数据共享、数据展现、数据安全、数据资产管理、多租户等于一体的能力共享平台。CSP是一个开放性平台,CSP的所有能力可以通过多租户管理的形式开放给平台的合作伙伴或者开发者,平台将大数据采集存储、数据处理加工和数据建模分析等基础能力以及数据本身开放给个性化应用的开发者,这些开发者可利用开放的能力,开发个性化应用(或数据),以支撑客户、第三方合作公司大数据的个性化应用需求。同时CSP对所有使用此平台的组织或者个人进行多租户的分级分权独立管控,以此保证平台所管理数据和其它资产的安全。


    特点与优势

    底层平台无关性:大数据能力共享平台支持目前主流的所有底层大数据平台,包括开源的Apache Hadoop、CDH、HDP、MAPR、创意D+、Ammzon、星环、华为FusionInsight等,CSP平台与底层平台的无关性保证了CSP可以在已建的所有大数据平台上做各种业务应用。

    多租户:是一个开放性平台,CSP的所有能力可以通过多租户管理的形式开放给平台的合作伙伴或者开发者,平台将大数据采集存储、数据处理加工和数据建模分析等基础能力以及数据本身开放给个性化应用的开发者,这些开发者可利用开放的能力,开发个性化应用(或数据),以支撑客户、第三方合作公司大数据的个性化应用需求。

    微服务:能力平台上层以微服务作为统一架构,提供对外的统一访问网关。微服务架构(Microservice Architect)是一种架构模式,它提倡将单块架构的应用划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通。每个服务都围绕着具体业务进行构建,并且能够被独立的部署到生产环境、类生产环境等。

    统一集成平台:CSP是一个统一的集成平台,整合了应用管理,数据管理,安全管理和自助服务管理,加快了建立和运行数据湖的流程。CSP为数据存储、任务调度运行提供了广泛的生态系统集成,包括MapReduce、Spark、Spark Streaming、Kafka和HBase等。

    可扩展和可靠性:CSP提供可扩展的、可靠的运行时环境以及易于部署和管理Hadoop解决方案所需的工具。

    安全:CSP底层实现数据的多租户管理,提供企业级安全和数据治理,确保敏感用户各种数据保持安全、独立。

    核心功能

    能力集:CSP支持数据采集存储、加工处理、建模分析等数据全业务处理

    图1 数据采集存储

    图2 数据加工处理

    图3 数据建模分析

    可视化开发套件:CSP提供了一整套图形拖放界面,用于从EDW、各种关系数据库建立管道到Hadoop,简化了构建端到端的数据流水线,包括从不同的源代码中获取,混合和聚合数据,利用易于使用的程序化抽象和可视化界面。CSP提供了一整套预构建的构建块,以支持数据操作,数据存储和数据分析,从而在不编写手动代码的情况下快速构建更智能的端对端解决方案。

    元数据管理:CSP提供元数据管理、审计,简化了跟踪数据流程,并且更容易检索,使用和管理数据集。

    实时、批处理统一平台:CSP为实时和批量分析提供了一个的统一的平台。它可以轻松地与最新技术(如Spark Streaming)结合使用拖拽式界面进行流式传输。这简化了来自各种数据源的数据的加载以及开发实时分析和IoT解决方案所需的转换。

  • 姚晨马伊琍首次对戏大银幕 2019-05-14
  • 人民网评:核心技术是强国之匙 2019-04-29
  • 坚持问题导向 从严整改到位 刘强来吉督导 胡世忠王少玄陪同 2019-04-15
  • 黄淳的专栏作者中国国家地理网 2019-04-15
  • 索尼4K屏旗舰降至冰点 售价仅2499元 2019-04-12
  • 男子抢劫杀人为“找钱”创业 司机装死逃命 2019-03-24
  • 工信部:鼓励婴幼儿配方乳企质量安全追溯体系建设 2019-03-22
  • 你遇到了吗用户吐槽升iOS 11.4后耗电过快用户吐槽升iOS11后耗电过快-行情资讯 2019-02-22
  • 快看,这是贫穷的德国 2019-02-22
  • 北京快乐8开奖结果 北京赛车pk10基本玩法 快乐飞艇是官方彩票吗 中国体彩超级大乐透 大乐透走势图 时彩老时时彩 南国特区彩票论坛 捕鱼技巧 3d彩票走势图500期 云南时时彩公式 体彩p5走势图带连线图表 北京赛车游戏有假吗 贵州福彩 生肖时时彩 北京赛车微信群 北京赛车微信群 彩吧助手福彩3d出号走势图