腾讯云emr（腾讯云emr数据迁移）

本文目录一览：

• 1、做世界云计算的“两极”，阿里云如何跨过“企业关”？
• 2、云HIS在中小医院、基层医院管理上有无容置疑的巨大优势，为什么医院仍不愿意抛弃传统HIS
• 3、大数据运维工程师的基本职责

做世界云计算的“两极”，阿里云如何跨过“企业关”？

时至今日，中国公有云的第一梯队已经基本形成——阿里云、腾讯云和金山云，据IDC调研预计，中国公有云市场规模到2018年将达到20亿美元，在企业业务、设备、服务数据化之后，国内将迎来云计算行业爆发的关键点。

今天，我们就来讲讲国内公有云第一梯队成员——腾讯云的故事。腾讯云2013年正式进入云计算市场，如今已然能够支持192个业务场景的全栈解决方案，在云时代的大背景下，极有可能会成为“腾讯下一个增长点”的生力军。

011年，陈龙加入腾讯云，并担任腾讯云托管hadoop服务平台(EMR)技术负责人，负责EMR的技术开发和产品建设。弹性MapReduce (EMR)是结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术，为客户提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。

作为EMR的技术负责人陈龙表示在整个EMR的设计和实现过程中遇到的最大困难就是云数据库hbase虚拟机网络和物理网络适配的问题。如何解决呢?他们采取的方法是修改并扩展了hbase的通信协议以实现虚拟机网络和物理网络互通。

EMR实现了在计算存储分离、计算资源弹性、组件服务化等诸多方面的技术创新，为腾讯云基础设施IAAS以及云存储COS、云硬盘等带来了业务增长。据悉，EMR团队下一个研究方向就是EMR自服务。

EMR团队充分利用了云的弹性能力以及服务化的云存储能力快速帮助用户生产出大数据分析平台，通过计算资源弹性降低企业的设备成本，通过服务化和自服务降低企业的运维成本，通过服务化的大数据平台降低企业的技术成本。

云计算仍处于初级阶段，我辈仍需努力

今年是云计算发展进入的第二个十年，在首个十年中云计算经历了从0到1的小时代。步入2017，中国云计算发展进入了什么阶段呢?陈龙认为目前国内仍处于云计算初级阶段，上云客户主要集中在互联网、游戏等一些新兴行业，对于像汽车、金融等传统行业还需继续渗透。

那么在整个国内的云计算市场中，腾讯云扮演着什么样的角色呢?腾讯公司副总裁、腾讯云总裁邱跃鹏表示腾讯云要做信息高速公路的“修路者”，修建一条连接到智能未来的信息高速公路。

虽然腾讯云入局不算太早，但是目前国内业务量每年都在翻倍增长。陈龙表示：先入局者虽然有先发优势，但是针对企业服务的云计算更看重产品，只要你产品足够好，服务足够到位，足够解决企业痛点，企业自然就会选择，后发优势也不可谓不存在。

展望未来，陈龙认为云计算会朝着服务化和智能化方向发展，一切都会以服务的形式存在于云端，服务化的计算、服务化的存储、服务化的网络、服务化的大数据、服务化的人工智能，这些服务会让企业像生活中使用水电一样使用云。

写在最后

随着IT架构的不断演进，云计算必定会成为未来所有IT应用的基石。2017年第九届系统架构师以“云智未来”为主题，盛邀百余位国内外顶级专家与大家一起进行技术探讨和价值发现。

届时，腾讯云托管hadoop服务平台(EMR)技术负责人陈龙将和大家一起探讨《云+时代大数据平台方案》，大数据如何高效利用云计算的海量计算资源，如何利用云的弹性以达到降低成本，实现数据价值最大化和成本最小化，大数据服务化又是如何让所有企业都享受到大数据和云计算的红利。

云HIS在中小医院、基层医院管理上有无容置疑的巨大优势，为什么医院仍不愿意抛弃传统HIS

我个人觉得有三点，一，云服务依赖于互联网，一旦网络出现问题，全院瘫痪。二，数据安全问题，很多企业都是这样，不愿意把数据放云端。 三，互联网速度远远没有局域网速度快，举个例子，必须说影像系统，图片容量太大

大数据运维工程师的基本职责

大数据运维工程师需要处理公司大数据平台各类异常和故障，确保系统平台的稳定运行。下面是我为您精心整理的大数据运维工程师的基本职责。

大数据运维工程师的基本职责1

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写，更新，经验总结沉淀，培训分享;

4、负责对新技术和方案进行调研，评估和引进，用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用Linux、TCP/IP网络协议栈，了解常用的Troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验，精于容量规划、架构设计、性能优化;

4、熟悉主流PaaS云产品的使用，具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力，出色的学习与钻研能力，良好的问题分析与解决能力;

6、对行业技术敏感度高且细致，善于思考，乐于发现，对解决具有挑战性问题充满激情。

　 　大数据运维工程师的基本职责2

职责：

1、负责维护服务器的运行，包括巡检、故障排除、数据备份等业务，保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发，大存储和实时流的Hadoop/spark大数据平台规划，运维，监控和优化工作。

任职资格：

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉，shell,python至少精通一种，如会scala语言可优先考虑;

3、熟悉Linux的维护和管理，熟悉bat及Shell脚本开发，能看懂Python/Scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建，监控，运维，调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

大数据运维工程师的基本职责3

职责:

1、负责Hadoop平台搭建，运维，管理，故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的Hadoop，Hbase，Kafka，Hive等进行优化。

4、建立Hadoop集群管理和维护规范，包括版本管理和变更记录等。

岗位要求:

1、有丰富的Hadoop生态系统的运维经验，了解Hadoop、Storm、Spark、Kafka这些组件的原理，具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 Perl/Python/Shell脚本语言中的一种;

3、掌握Linux操作系统的配置，管理、优化以及各种常用命令，能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀，善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力，能出差。

　 　大数据运维工程师的基本职责4

职责：

1.负责Hadoop、spark、hbase、oozie、hive等平台运营和优化工作，保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发Hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格：

1. 全日制本科以上学历，三年以上后台系统运营工作经验;

2. 熟悉hadoop原理，具有Hadoop平台应用及管理经验，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程，熟悉Shell/Python/Java/Perl语言的一种或多种，有开发经验优先， 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣，有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

　 　大数据运维工程师的基本职责5

职责：

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统，对业务层面关键指标进行监控与报警通知;

任职要求：

1、熟练掌握hadoop平台搭建、维护，有平台优化经验;

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等组件的原理，有阅读源码能力者优先;

3、熟悉腾讯云产品，有腾讯云EMR使用经验者优先考虑;