重新设计数据管道并削减技术债务

故事块

Storyblocks的诞生是为了解决创意人员缺乏可访问、负担得起的库存的问题。它是第一个基于无限下载订阅的股票视频和音频提供商，在电视和视频制作行业拥有超过 100,000 名客户，包括 NBC 和 MTV，以及数以万计的爱好者，他们希望增强他们的视频项目和制作。

随着公司从一个斗志昂扬的颠覆者转变为主要的行业参与者，它开始遇到公司成立时构建的单一应用程序的问题。在他们将整体拆分为微服务之后，他们后来还遇到了服务之间同步 REST API 调用的其他问题。

也就是说，开发人员和数据工程师无法足够快地解决问题或以足够的敏捷性迭代他们的搜索功能，并且由于越来越多的数据可能会减慢新产品的生产力和上市时间，因此他们承担了大量的技术债务。特征。

挑战在于创建一个事件总线来改进数据收集、微服务之间的事件驱动通信以及新用例的数据发现。

他们开始使用 Confluent Cloud，这是 Kafka 的完全托管云服务。同时，他们开始尝试将 Kafka 用作事件总线，以提供更多的流应用程序和机器学习 (ML) 功能，并且他们很快意识到 Confluent Cloud 产生了影响。

有了这个由 Confluent 支持的数据管道，Storyblocks 团队可以开始在内部和外部影响真正的数字化转型。

Confluent Cloud 创建跨系统的无缝数据流，使开发人员能够充分利用基于事件的流式数据。

• The implementation of Confluent Cloud has brought significant operational benefits to Storyblocks. It has reduced technical debt and total cost of ownership (TCO) from REST APIs and modernized a monolithic application. The solution has also supported the company's rebranding effort by consolidating the search for audio and visual files. Furthermore, it has vastly improved data visibility, collection, and communication for data scientists and developers. The new data pipeline has enabled the company to iterate on their search algorithm quickly, improving the user search experience. Looking forward, the company plans to use the event-based architecture to improve the user experience and tackle the lucrative enterprise market.

• Reduced technical debt and total cost of ownership (TCO) from REST APIs
• Consolidated search for audio and visual files
• Supported rebranding effort