WinWire > 实例探究 > 美国领先的跨国软件公司

美国领先的跨国软件公司

WinWire Logo
 Hadoop to Apache Spark Migration: A Case Study on Performance Improvement - IoT ONE Case Study
技术
  • 分析与建模 - 大数据分析
  • 平台即服务 (PaaS) - 应用开发平台
用例
  • 时间敏感网络
服务
  • 数据科学服务
客户

美国跨国计算机软件公司

关于客户

客户是一家美国跨国计算机软件公司,其颠覆性创新正在重新定义数字体验的可能性。客户连接内容和数据并引入新技术,使创造力民主化,塑造下一代故事讲述方式,并激发新的业务类别。

挑战

该客户已启动一项多年计划,重点是将其大数据平台从 Cloudera Hadoop On-Prem 实例迁移到 Azure 上的 Cloudera 数据平台 (CDP)。作为第一步,他们希望探索当前状态下优先考虑的 MapReduce 作业,并考虑在将工作负载迁移到 Azure 云之前迁移到 Spark。

他们最初使用 Hadoop Map Reduce 引擎和 Hive 查询 (HQL) 创建了一个解决方案。当前设置面临以下挑战:

  1. 代码执行速度较慢
  2. 更高的存储要求
  3. 难以维护工作流程
  4. 他们设想的更新解决方案应该解决上述所有问题,并希望采用改进的方法来处理大数据。他们正在寻找可以支持他们将已识别的 MapReduce 作业转换为 Spark 的合作伙伴,因为他们希望减少作业的执行和处理时间,因为这会影响他们的业务绩效。
  5. 最终,它将使他们能够将他们的大数据平台从 Cloudera Hadoop On-Prem 实例迁移到 Azure 上的 Cloudera 数据平台 (CDP)。
解决方案

WinWire 与客户合作,采用两个优先作业 [LTV 和 AES] 将 MapReduce 作业转换为 Spark。这些被归类为高复杂性工作。

WinWire 团队将 MapReduce 代码无缝转换为 Spark 代码。这种转变使客户能够更快地处理数据并通过将执行时间减少 50% 以上来提高工作的整体性能。

使用的技术:Hive、Spark -2.4、Scala – 2.11、IntelliJ Idea Community Edition – 2021.1、Unravel、Hive Shell、Spark2-shell、CDH – 5.16、GitHub

运营影响
  • The migration from Hadoop MapReduce to Apache Spark resulted in significant operational improvements for the customer. The most notable improvement was the reduction in execution and processing time by more than 50%. This allowed the customer to process data faster and improve the overall performance of their jobs. Additionally, the transition made it easier for the customer to maintain their workflows, reducing the time and resources required for this task. The successful migration also paved the way for the next step in their multiyear initiative - moving their Big Data platform to Azure. This move will further enhance their operational efficiency and enable them to continue leading the way in digital innovation.
数量效益
  • Reduced the execution & processing time of jobs by 50%
  • Transitioned high complexity jobs from MapReduce to Spark
  • Set the stage for the subsequent move of the Big Data platform to Azure

Case Study missing?

Start adding your own!

Register with your work email and create a new case study profile for your business.

Add New Record

相关案例.

联系我们

欢迎与我们交流!
* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 Asia Growth Partners 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 Asia Growth Partners 的任何营销电子邮件。
提交

感谢您的信息!
我们会很快与你取得联系。