WinWire > 实例探究 > 美国领先的跨国软件公司

美国领先的跨国软件公司

WinWire Logo
 Hadoop to Apache Spark Migration: Accelerating Big Data Processing for a Multinational Software Firm - IoT ONE Case Study
技术
  • 分析与建模 - 大数据分析
  • 平台即服务 (PaaS) - 应用开发平台
用例
  • 时间敏感网络
服务
  • 数据科学服务
挑战

该客户已启动一项多年计划,重点是将其大数据平台从 Cloudera Hadoop On-Prem 实例迁移到 Azure 上的 Cloudera 数据平台 (CDP)。作为第一步,他们希望探索当前状态下优先考虑的 MapReduce 作业,并考虑在将工作负载迁移到 Azure 云之前迁移到 Spark。

他们最初使用 Hadoop Map Reduce 引擎和 Hive 查询 (HQL) 创建了一个解决方案。当前设置面临以下挑战:

  1. 代码执行速度较慢
  2. 更高的存储要求
  3. 难以维护工作流程
  4. 他们设想的更新解决方案应该解决上述所有问题,并希望采用改进的方法来处理大数据。他们正在寻找可以支持他们将已识别的 MapReduce 作业转换为 Spark 的合作伙伴,因为他们希望减少作业的执行和处理时间,因为这会影响他们的业务绩效。
  5. 最终,它将使他们能够将他们的大数据平台从 Cloudera Hadoop On-Prem 实例迁移到 Azure 上的 Cloudera 数据平台 (CDP)。
客户

美国跨国计算机软件公司

关于客户

客户是一家美国跨国计算机软件公司,其颠覆性创新正在重新定义数字体验的可能性。客户连接内容和数据并引入新技术,使创造力民主化,塑造下一代故事讲述方式,并激发新的业务类别。

解决方案

WinWire 与客户合作,采用两个优先作业 [LTV 和 AES] 将 MapReduce 作业转换为 Spark。这些被归类为高复杂性工作。

WinWire 团队将 MapReduce 代码无缝转换为 Spark 代码。这种转变使客户能够更快地处理数据并通过将执行时间减少 50% 以上来提高工作的整体性能。

使用的技术:Hive、Spark -2.4、Scala – 2.11、IntelliJ Idea Community Edition – 2021.1、Unravel、Hive Shell、Spark2-shell、CDH – 5.16、GitHub

数量效益
  • The customer achieved a 50% reduction in job execution and processing time.

Case Study missing?

Start adding your own!

Register with your work email and create a new case study profile for your business.

Add New Record

相关案例.

联系我们

欢迎与我们交流!
* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

感谢您的信息!
我们会很快与你取得联系。