案例来源https://github.com/apache/flink-training/blob/release-1.14/hourly-tips/README_zh.md案例介绍基于出租车付费事件流计算出每小时赚取最多小费的司机,最简单的方法是通过两个步骤来解决这个问题:首先使用一个小时长的窗口来计算每个司机在一小时内的总小费,然后从该窗口结果流中找到每小时总小费最多的司机。结果输出:每小时产生一个HourlyTip对象记录的数据流。这个记录应包含该小时结束时的时间戳、该小时内获得小费最多的司机的driverId以及他的实际小费总数。publicclassHourlyTip{/***小时结
案例来源https://github.com/apache/flink-training/blob/release-1.14/hourly-tips/README_zh.md案例介绍基于出租车付费事件流计算出每小时赚取最多小费的司机,最简单的方法是通过两个步骤来解决这个问题:首先使用一个小时长的窗口来计算每个司机在一小时内的总小费,然后从该窗口结果流中找到每小时总小费最多的司机。结果输出:每小时产生一个HourlyTip对象记录的数据流。这个记录应包含该小时结束时的时间戳、该小时内获得小费最多的司机的driverId以及他的实际小费总数。publicclassHourlyTip{/***小时结
案例来源于https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/try-flink/datastream/案例背景在当今数字时代,信用卡欺诈行为越来越被重视。罪犯可以通过诈骗或者入侵安全级别较低系统来盗窃信用卡卡号。用盗得的信用卡进行很小额度的例如一美元或者更小额度的消费进行测试。如果测试消费成功,那么他们就会用这个信用卡进行大笔消费,来购买一些他们希望得到的,或者可以倒卖的财物。在这个教程中,你将会建立一个针对可疑信用卡交易行为的反欺诈检测系统。通过使用一组简单的规则,你将了解到Flink如何为我们实现复杂业务逻辑并实
案例来源于https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/try-flink/datastream/案例背景在当今数字时代,信用卡欺诈行为越来越被重视。罪犯可以通过诈骗或者入侵安全级别较低系统来盗窃信用卡卡号。用盗得的信用卡进行很小额度的例如一美元或者更小额度的消费进行测试。如果测试消费成功,那么他们就会用这个信用卡进行大笔消费,来购买一些他们希望得到的,或者可以倒卖的财物。在这个教程中,你将会建立一个针对可疑信用卡交易行为的反欺诈检测系统。通过使用一组简单的规则,你将了解到Flink如何为我们实现复杂业务逻辑并实
摘要:目前Hudi只支持FlinkSQL进行数据读写,但是在实际项目开发中一些客户存在使用FlinkDataStreamAPI读写Hudi的诉求。本文分享自华为云社区《FusionInsightMRSFlinkDataStreamAPI读写Hudi实践》,作者:yangxiao_mrs。目前Hudi只支持FlinkSQL进行数据读写,但是在实际项目开发中一些客户存在使用FlinkDataStreamAPI读写Hudi的诉求。该实践包含三部分内容:1)HoodiePipeline.java,该类将Hudi内核读写接口进行封装,提供HudiDataStreamAPI。2)WriteIntoHudi
摘要:目前Hudi只支持FlinkSQL进行数据读写,但是在实际项目开发中一些客户存在使用FlinkDataStreamAPI读写Hudi的诉求。本文分享自华为云社区《FusionInsightMRSFlinkDataStreamAPI读写Hudi实践》,作者:yangxiao_mrs。目前Hudi只支持FlinkSQL进行数据读写,但是在实际项目开发中一些客户存在使用FlinkDataStreamAPI读写Hudi的诉求。该实践包含三部分内容:1)HoodiePipeline.java,该类将Hudi内核读写接口进行封装,提供HudiDataStreamAPI。2)WriteIntoHudi
目录一、DataStreamAPI概述二、什么是DataStream?三、DataStream数据处理过程1)DataSources(数据源)1、DataSources原理2、DataSources实现方式1)基于文件2)基于套接字3)基于集合4)自定义2)DataStreamTransformations(数据流转换//处理/算子)1、数据流转换2、物理分区3、算子链和资源组3)DataSinks(数据输出)旁路输出(分流)2)Flink程序剖析(scala)1、获取一个执行环境(executionenvironment)2、加载/创建初始数据3、指定数据相关的转换4、指定计算结果的存储位置
目录一、DataStreamAPI概述二、什么是DataStream?三、DataStream数据处理过程1)DataSources(数据源)1、DataSources原理2、DataSources实现方式1)基于文件2)基于套接字3)基于集合4)自定义2)DataStreamTransformations(数据流转换//处理/算子)1、数据流转换2、物理分区3、算子链和资源组3)DataSinks(数据输出)旁路输出(分流)2)Flink程序剖析(scala)1、获取一个执行环境(executionenvironment)2、加载/创建初始数据3、指定数据相关的转换4、指定计算结果的存储位置
动机Flink提供了三种主要的sdk/API来编写程序:TableAPI/SQL、DataStreamAPI和DataSetAPI。我们认为这个API太多了,建议弃用DataSetAPI,而使用TableAPI/SQL和DataStreamAPI。当然,这说起来容易做起来难,所以在下面,我们将概述为什么我们认为太多的api对项目和社区有害。然后,我们将描述如何增强TableAPI/SQL和DataStreamAPI以包含DataSetAPI的功能。在本FLIP中,我们将不描述如何增强TableAPI/SQL和DataStream的所有技术细节。目标是在弃用DataSetAPI的想法上达成共识。
动机Flink提供了三种主要的sdk/API来编写程序:TableAPI/SQL、DataStreamAPI和DataSetAPI。我们认为这个API太多了,建议弃用DataSetAPI,而使用TableAPI/SQL和DataStreamAPI。当然,这说起来容易做起来难,所以在下面,我们将概述为什么我们认为太多的api对项目和社区有害。然后,我们将描述如何增强TableAPI/SQL和DataStreamAPI以包含DataSetAPI的功能。在本FLIP中,我们将不描述如何增强TableAPI/SQL和DataStream的所有技术细节。目标是在弃用DataSetAPI的想法上达成共识。