jjzjj

SlidingWindows

全部标签

java - SlidingWindows 用于 Apache Beam 上的慢速数据(大间隔)

我正在使用ChicagoTrafficTracker数据集,每15分钟发布一次新数据。当有新数据可用时,它表示记录与“实时”相差10-15分钟(example,查找_last_updt)。例如,在00:20,我得到时间戳为00:10的数据;在00:35,我从00:20开始;在00:50,我从00:40开始。因此,我可以“固定”获取新数据的时间间隔(每15分钟一次),尽管时间戳的时间间隔略有变化。我正在尝试在Dataflow(ApacheBeam)上使用这些数据,为此我正在玩滑动窗口。我的想法是收集和处理4个连续的数据点(4x15分钟=60分钟),理想情况下,一旦有新数据点可用,就更新我