应用Spark,Kafka和Cassandra的Lambda架构 中文字幕

课程信息
英文名Applying the Lambda Architecture with Spark, Kafka, and Cassandra
课程来源Pluralsight.com
讲师Ahmad Alkilani
课程ID9003683
课程时长6.1小时
下载所需积分50
所属类别

本课程旨在超越大数据领域的所有炒作,并专注于构建强大,高度可扩展的批处理和实时系统的真正作用

在本课程中,将Spark,Kafka和Cassandra应用于Lambda体系结构,您可以将不同的技术组合在一起,这些技术非常适合并且由一些要求最苛刻的公司(例如Facebook,Twitter和LinkedIn)设计)给那些在设计数据处理框架方面处于领先地位的公司,如Apache Spark,在整个课程中起着不可或缺的作用

您将查看每个单独的组件,并了解有关其体系结构的详细信息,从而使它们非常适合构建基于Lambda Architecture的系统

您将继续从头开始构建一个完整的应用程序,首先是一个模拟流中数据生成的小型应用程序,一直到解决全局状态,非关联计算,应用程序升级和重新启动,并最终呈现真实在卡桑德拉的时间和批量视图

完成本课程后,您将准备好利用这些技术来开展工作,从而构建比以往更好的数据系统

嗨! 我的名字是Ahmad Alkilani,欢迎来到我的课程,将Sparkda,Kafka和Cassandra应用于Lambda架构。

我们每天都会看到大量数据,无论您是否积极参与大数据项目,了解LinkedIn,Facebook和Twitter等公司每天必须处理的问题,或者只是收听广播 关于大数据能够分析和发现我们所拥有数据的新见解的一些举措。

在本课程中,我们将重点关注构建实时系统,这些系统可以使用Apache Spark,Kafka,Cassandra和Hadoop等工具作为一流公民,通过健壮性和容错来大规模处理实时数据。

我们将了解大数据应用程序的周密设计如何使您能够在批处理工作负载中组合低延迟流数据。

我们将使用Apache Spark,Spark DataFrames和Spark SQL从头开始设计和构建应用程序,以及Spark的数据源API以加载,存储和操作数据。

我们还将研究Spark Streaming和Spark-Kafka集成技术的可靠性和速度。

我们还将编写和Kafka数据生成器,以模拟我们的实时数据流馈送到我们的流应用程序。

随着我们深入研究该课程,我们将研究如何在构建有状态的Spark Streaming应用程序时使用近似算法保护全局状态并有效地使用内存。

如果没有处理错误和代码更新的能力,生产应用程序就不完整。

我们还将学习如何使用可扩展的NoSQL数据库并将数据保存到Cassandra和HDFS。

在本课程结束时,您可以轻松构建自己的容错可扩展实时大数据系统,并使用Spark,Kafka,Cassandra和HDFS作为lambda架构的主干来处理流和批量数据。

在开始本课程之前,您应该熟悉一些编程语言,最好是Java,Scala或C#。

但是你肯定不需要成为这些中的任何一个主人,因为我们将引导你通过一个温和的介绍来帮助你前进。

我期待着您加入我的旅程,通过在Pluralsight上使用Spark,Kafka和Cassandra课程应用Lambda架构学习lambda架构。

中文课程网 提供全网最全,中文翻译质量最高的国外课程视频资源(Lynda / Pluralsight)

相关课程

请先登陆 如果还没有账号,请先注册