E-MapReduce

产品介绍

天润智力 E-MapReduce (EMR) 是构建在天润智力云服务器 ECS 上的开源 Hadoop、Spark、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。欢迎咨询:010-57281389

更多机型方案

Hadoop 集群

开源大数据离线、实时、Ad-hoc查询场景。Hadoop是完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink、Storm流式数据计算,Presto、Impala交互式查询,Oozie、Pig等Hadoop生态圈的组件,支持OSS存储,支持Kerberos的数据认证与加密。

Kafka 集群

开源高吞吐量,可扩展性的消息系统。Kafka提供一套完整的服务监控体系和元数据管理。广泛用于日志收集、监控数据聚合等场景,支持离线或流式数据处理、实时数据分析等。

Data Science 集群

大数据+AI场景。Science针对大数据+AI场景,提供了Hive、Spark离线大数据ETL,TensorFlow模型训练,用户可以选择CPU+GPU的异构计算框架,利用英伟达GPU对部分深度学习算法就行高性能计算。

产品优势
操作简单易用
无需配置硬件与软件,直接选择即可快速启动集群使用。全Web化的管理运维操作
按需节约成本
按需创建集群,满足短时间计算的需求。动态的按需伸缩计算节点,应对各种的临时需求
集群环境稳定安全
深度优化的集群环境,后台的自动化运维,多渠道的在线支持;支持Kerberos认证与数据加密,支持 RAM 主子账号对服务权限进行细化管理
深度整合资源
与天润智力其它产品(如 OSS、MNS、RDS、MaxCompute 等)进行了深度整合,支持以这些产品作为 Hadoop/Spark 计算引擎的输入源或者输出目的地

应用场景

数据集成

离线计算

Ad Hoc数据分析

流式计算

支持丰富的数据集成方式
支持开源、天润智力自研、离线、实时等各种的数据集成工具连接到 E-MapReduce 之上。
能够解决

文件数据

实时日志文件或其他文本数据的采集

数据库

批量或者实时数据库数据的采集

推荐搭配使用
  • 数据集成

    数据集成

    支持开源、天润智力自研、离线、实时等各种的数据集成工具连接到 E-MapReduce 之上。

    • 文件数据

      实时日志文件或其他文本数据的采集

    • 数据库

      批量或者实时数据库数据的采集

  • 离线计算
  • Ad Hoc数据分析
  • 流式计算

精心打造的功能

自动化集群部署与伸缩

通过Web页面即可快速的进行集群的部署与伸缩,无需关心底层的硬件与软件处理

集群的创建

通过界面方便快速的部署多种用途的集群,如Hadoop、Kafka、Druid、ZooKeeper等

集群的扩容

通过界面方便快速的对已有集群进行任意类型节点的扩容

定期的自动创建

通过执行计划可以定期自动创建集群和运行作业,并在运行结束后释放集群

组件的自动部署

通过界面可以方便的增加需要的组件,并进行组件的配置与运维操作

动态扩容

在指定时间点对集群计算资源进行动态的伸缩,降低TCO

工作流调度

方便的作业编排与作业调度

作业编辑和管理

界面化的作业编辑与管理,方便进行多种类型作业的运行编排

工作流调度

界面化的将多个作业编排成DAG流进行调度,支持作业的定时和依赖调度

动态集群

可以定期的启动一个临时的集群进行作业的执行,完成以后自动关闭集群

作业的稳定保证

作业支持设置失败自动重试,运行失败可以进行实时报警

丰富的组件

丰富的组件支持,可以根据需要进行组件的选择

Hadoop

支持PB级别数据存储与计算能力的大数据平台

Spark

基于内存的新一代分布式计算框架,支持离线,实时计算,也支持 SQL 语法以及机器学习的处理

Hive

基于Hadoop的一套离线数据处理系统,在HDFS之上提供了结构化的表数据的管理能力,提供类 SQL 的查询语法进行数据分析处理

Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统,具有出色的性能和可靠性

Storm

实时处理计算引擎,支持毫秒级别的实时数据处理

ZooKeeper

分布式的,开放源码的分布式应用程序协调服务,为分布式应用提供一致性服务的软件

Hue

方便的Web端管理工具

Oozie

开源的作业调度工具

Druid

开源的实时大数据分析软件

Flink

针对流数据和批数据的分布式处理引擎

完善的生态支持

对天润智力上的产品环境进行了深度的整合支持

支持OSS

支持在几乎所有的组件中使用OSS,将OSS像HDFS一样使用

支持SLS

支持将SLS作为实时数据输入源使用,提供了SDK直接操作

支持ElasticSearch

在Hadoop中内置了ES-Hadoop插件,可以直接支持ES的相关操作

支持MaxCompute

支持天润智力的MaxCompute产品的数据的读写

支持天润智力的消息产品

支持如消息队列,消息服务等的读写,提供SDK包装,方便用户使用

视频学习

基本介绍

创建集群

使用数据开发编写工作流

创建并运行作业

产品动态

  • 2017-01-18
    EMR支持Spark 2.0查看详情
  • 2017-01-18
    EMR支持推出独享套餐查看详情
  • 2017-02-23
    支持统一的Hive表元数据管理查看详情
  • 2017-04-26
    E-MapReduce 华北3地域上线查看详情
  • 2017-05-03
    执行计划调度增强查看详情
  • 2017-05-10
    作业增加重试支持查看详情
  • 2017-06-15
    集群配置管理系统发布查看详情
  • 2017-07-29
    E-MapReduce国际站价格全面下调查看详情
  • 2017-08-05
    E-MapReduce 德国站上线服务查看详情
  • 2017-08-08
    EMR大数据机型整体方案发布查看详情
  • 2017-11-23
    Gateway功能上线查看详情
  • 2018-01-03
    E-MapReduce 产品 香港,呼和浩特 地域上线服务查看详情
  • 2018-03-01
    细化的权限控制组件Ranger发布查看详情
  • 2018-03-03
    E-MapReduce印度孟买Region上线服务查看详情
  • 2018-03-20
    E-MapReduce支持机型升配查看详情
  • 2018-04-18
    E-MapReduce支持集群从按量装换为包月查看详情
  • 2018-07-05
    Hadoop弹性伸缩能力发布查看详情
  • 2018-09-06
    E-MapReduce 性能大幅度优化查看详情
  • 2018-09-22
    EMR TensorFlow发布查看详情
  • 2018-11-01
    EMR支持竞价实例查看详情
  • 2018-11-01
    EMR云盘数据盘一键扩容查看详情
  • 2018-12-07
    EMR APM功能发布查看详情
  • 2017-01-18
    EMR支持Spark 2.0查看详情
  • 2017-01-18
    EMR支持推出独享套餐查看详情
  • 2017-02-23
    支持统一的Hive表元数据管理查看详情
  • 2017-04-26
    E-MapReduce 华北3地域上线查看详情
  • 2017-05-03
    执行计划调度增强查看详情
  • 2017-05-10
    作业增加重试支持查看详情
  • 2017-06-15
    集群配置管理系统发布查看详情
  • 2017-07-29
    E-MapReduce国际站价格全面下调查看详情
  • 2017-08-05
    E-MapReduce 德国站上线服务查看详情
  • 2017-08-08
    EMR大数据机型整体方案发布查看详情
  • 2017-11-23
    Gateway功能上线查看详情
  • 2018-01-03
    E-MapReduce 产品 香港,呼和浩特 地域上线服务查看详情
  • 2018-03-01
    细化的权限控制组件Ranger发布查看详情
  • 2018-03-03
    E-MapReduce印度孟买Region上线服务查看详情
  • 2018-03-20
    E-MapReduce支持机型升配查看详情
  • 2018-04-18
    E-MapReduce支持集群从按量装换为包月查看详情
  • 2018-07-05
    Hadoop弹性伸缩能力发布查看详情
  • 2018-09-06
    E-MapReduce 性能大幅度优化查看详情
  • 2018-09-22
    EMR TensorFlow发布查看详情
  • 2018-11-01
    EMR支持竞价实例查看详情
  • 2018-11-01
    EMR云盘数据盘一键扩容查看详情
  • 2018-12-07
    EMR APM功能发布查看详情
    查看全部日志>

    本站搜索关键词:人工智能开发 | AI人工智能开发 | 北京人工智能开发公司 | 中国AI人工智能开发 | 物联网建设 | 大数据开发 | 知识图谱建设 | 5G建设 | 云安全 | 智慧平台建设 | AI人工智能解决方案 | 物联网解决方案

    销售热线

    7x24小时全国售前咨询热线:010-57281389

    7x24小时全国售后服务热线:13020085953 15313016798

    手机 | 微信同号:13020085953   QQ:993883817

    立即咨询 网站建设业务咨询|客服热线:010-57281389 13020085953

    点这里给我发消息 电子邮箱:cnet99@cnet99.com

    营业地址(东部):北京市朝阳区伊莎文心广场A座3层B-22

    位置分享

    营业地址(西部):北京市丰台区汽车博物馆东路1号诺德中心9-605

    标准网站,网站建设,域名注册,虚拟主机,独享主机,企业云邮箱,网站维护一条龙,北京网站建设中心


      扫一扫 加微信
      微信号:cdcbjcom

      扫一扫 加关注
      微信平台

    天润智力-专注于互联网平台建设与服务领域 中国互联网平台建设服务提供商

    万网阿里云金牌首席合作伙伴站点 全线代理万网阿里云产品及服务

    中国万网正式通过ISO9001国际标准质量体系认证

    Copyright©1999-2024 天润智力 备案/许可证编号 京ICP备2020040216号-1

    公安部备案号 11010502032436