The DataStream API gets its name from the specialDataStreamclass that is used to represent a collection of data in a Fl...
前言 Data Sources 是什么呢?就字面意思其实就可以知道:数据来源。 Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时的处理些实时数据流,实时的...
在 Flink 提供的多层级 API 中,核心是 DataStream API,这是我们开发流处理应用的基本途径;底层则是所谓的处理函数(process function),可以访问事件的时间信息、注册定时器、自定义状态,进行有状态...
1 基于时间的双流Join 数据流操作的另一个常见需求是对两条数据流中的事件进行联结(connect)或Join。Flink DataStream API中内置有两个可以根据时间条件对数据流进行Join的算子:基于间隔的Join和基于窗口...
概述 本文主要是基于flink不同版本之间的checkpoint机制进行阐述,主要是对比1.11之后和之前的差异,使得可以针对不同的场景使用不同的checkpoint方式。 什么是checkpoint checkpoint是fli...
前言 Flink 自带了一个SQLClient,截至目前Flink-1.13.0,Flink还没有Flink SQL Gateway。 需求 由于需要在提供友好的用户界面,类似于低代码平台,因此需要一个WEB服务来调用执行用户的SQL。 ...
在本章,我们将要学习DataStream API中处理时间和基于时间的操作符,例如窗口操作符。 首先,我们会学习如何定义时间属性,时间戳和水位线。然后我们将会学习底层操作process function,它可以让我们访问时间戳和水位线,以...
我有以下形式的预订元素流:Booking(id=B1, driverId=D1, time=t1, location=l1) Booking(id=B2, driverId=D2, time=t2, location=l2)复制我需要找到,...
案例来源 https://github.com/apache/flink-training/blob/release-1.14/hourly-tips/README_zh.md 案例介绍 基于出租车付费事件流计算出每小时赚取最多小费的...
前言 开始分享第一篇flink源码的学习,诊断相关的文章仍会继续更新。先讲第一篇Flink实现的心跳机制。Flink代码版本是1.9.2 类图依赖关系 先上个心跳实现的类图 其中主要的几个接口和实现类 HeartbeatTarget ...