从脚本和工具过渡到通过成熟的 UI 运维 Hadoop ， 是团队的重大文化转变 。 我们花在集群运维上的时间减少了 90% 以上 。 我们让自动化操作控制来整个系统的运维、更换损坏主机 。 我们不再让 Hadoop 来管理我们的时间了 。
以下是我们旅途中的主要收获：
如果没有先进的卓越运维技术 ， Hadoop 可能会变成一个难以驯服的庞然大物 。 组织应该定期重新评估部署架构并定期偿还技术债务 ， 以免亡羊补牢 。
大规模基础设施的重构需要时间 。 组织应该为此建立强大的工程团队 ， 专注于进步而不是追求完美 ， 并随时准备好应付生产环境中出现的问题 。
感谢所有参与各个架构团队的工程师 ， 我们的架构非常稳固 。 建议与 Hadoop 领域之外的人们合作以收集不同的观点 。
随着我们的迁移任务逐渐步入尾声 ， 我们正在将重点转移到更多令人兴奋的工作上 。 利用底层容器编排的优势 ， 我们为未来制定了以下计划：
单击一次开通多集群和一个区域内跨多个专区的集群平衡
主动检测和修复服务降级和故障的自动化解决方案
通过桥接云和本地容量来提供按需弹性存储和计算资源
作者介绍
Mithun Mathew 是 Uber 数据团队的二级高级软件工程师 。 他之前作为 Apache Ambari 的开发人员参与 Hadoop 部署工作 。 他目前在 Uber 专注于数据基础设施的容器化 。
Qifan Shi 是 Uber 数据基础设施团队的高级软件工程师 ， 也是 Hadoop 容器化的核心贡献者 。 他一直在参与能够高效编排大规模 HDFS 集群的多个系统的研发工作 。
Shuyi Zhang 是 Uber 数据基础设施团队的高级软件工程师 。 她是 Hadoop 容器化的核心贡献者 。 她目前专注于 Uber 的计算资源管理系统 。
Jeffrey Zhong 是 Uber 数据基础设施团队的二级工程经理 ， 负责管理数据湖存储（Hadoop HDFS）和批量计算调度（Hadoop YARN） 。 在加入 Uber 之前 ， 他曾参与 Apache HBase 和 Apache Phoenix 的工作 。
https://eng.uber.com/hadoop-container-blog/

• 塑化剂对孩子健康有什么影响
• 淘宝卖手办需要营业执照吗？如何优化？
• 9岁有赞发布数字化转型“10大观察”
• 宝宝肠胃不好，总是消化不良，也长不胖，该怎么办？
• 淘宝店铺涨价怎么回事？怎样优化价格？
• 发力“农研”的拼多多，正寻求电商领域的差异化发展路线
• 深蹲可以瘦腿吗？每天深蹲200个，坚持3个月会产生什么变化？
• 安利空气净化器排名 中国空气净化器排名
• 小狗身体强酸强碱化学物质的来源于
• 聚合新兴市场本地化支付，Grepay服务B2C客户跨境收单需求