目录一、DataStreamAPI概述二、什么是DataStream？三、DataStream数据处理过程1）DataSources（数据源）1、DataSources原理2、DataSources实现方式1）基于文件2）基于套接字3）基于集合4）自定义2）DataStreamTransformations（数据流转换//处理/算子）1、数据流转换2、物理分区3、算子链和资源组3）DataSinks（数据输出）旁路输出（分流）2）Flink程序剖析（scala）1、获取一个执行环境（executionenvironment）2、加载/创建初始数据3、指定数据相关的转换4、指定计算结果的存储位置
目录一、DataStreamAPI概述二、什么是DataStream？三、DataStream数据处理过程1）DataSources（数据源）1、DataSources原理2、DataSources实现方式1）基于文件2）基于套接字3）基于集合4）自定义2）DataStreamTransformations（数据流转换//处理/算子）1、数据流转换2、物理分区3、算子链和资源组3）DataSinks（数据输出）旁路输出（分流）2）Flink程序剖析（scala）1、获取一个执行环境（executionenvironment）2、加载/创建初始数据3、指定数据相关的转换4、指定计算结果的存储位置
ClickHouse高级目录ClickHouse高级1.执行计划1.1基本语法1.2案例实操1.2.1新版本1.2.2老版本2.建表优化2.1数据类型2.1.1时间字段类型2.1.2空值存储类型2.2分区和索引2.3表参数2.4写入和删除优化2.5常见配置2.5.1CPU资源2.5.2内存资源2.5.3存储3.语法优化3.1COUNT优化3.2消除子查询重复字段3.3谓词下推3.4聚合计算外推3.5聚合函数消除3.6删除重复的orderbykey3.7删除重复的limitbykey3.8删除重复的usingkey3.9标量替换3.10三元运算优化4.查询优化4.1单表查询4.1.1PREWHE
ClickHouse高级目录ClickHouse高级1.执行计划1.1基本语法1.2案例实操1.2.1新版本1.2.2老版本2.建表优化2.1数据类型2.1.1时间字段类型2.1.2空值存储类型2.2分区和索引2.3表参数2.4写入和删除优化2.5常见配置2.5.1CPU资源2.5.2内存资源2.5.3存储3.语法优化3.1COUNT优化3.2消除子查询重复字段3.3谓词下推3.4聚合计算外推3.5聚合函数消除3.6删除重复的orderbykey3.7删除重复的limitbykey3.8删除重复的usingkey3.9标量替换3.10三元运算优化4.查询优化4.1单表查询4.1.1PREWHE
0、关键词annotatedvideos,3Dobjectdetection,object-centricvideos,poseannotations,Objectrondataset,3Dobjecttracking,3Dshaperepresentation,object-centricshortvideos,annotatedimages,robotics,imageretrieval,augmentedreality1、链接该论文来自谷歌研究院（GoogleResearch It'sGoogle:-(内地需要VPN才能访问）。秉承其形成技术壁垒的一贯作风，要么“力大砖飞”，使用大规模集
0、关键词annotatedvideos,3Dobjectdetection,object-centricvideos,poseannotations,Objectrondataset,3Dobjecttracking,3Dshaperepresentation,object-centricshortvideos,annotatedimages,robotics,imageretrieval,augmentedreality1、链接该论文来自谷歌研究院（GoogleResearch It'sGoogle:-(内地需要VPN才能访问）。秉承其形成技术壁垒的一贯作风，要么“力大砖飞”，使用大规模集
今天实践一个小功能，完成pytorch读取文件夹中的wav语音文件来迭代输出，作为神经网络的数据集dataset。再前期使用tensorflow来读取大量wav文件时发现要自己封装，过程较为复杂，接口也较为乱，转到pytorch后发现框架更加pythonic。 在pytorch中，提供了一种十分方便的数据读取机制，即使用torch.utils.data.Dataset与Dataloader组合得到数据迭代器。在每次训练时，利用这个迭代器输出每一个batch数据，并能在输出时对数据进行相应的预处理或数据增强操作。 torch.utils.data.Dataset：所有的类都应该是此类
今天实践一个小功能，完成pytorch读取文件夹中的wav语音文件来迭代输出，作为神经网络的数据集dataset。再前期使用tensorflow来读取大量wav文件时发现要自己封装，过程较为复杂，接口也较为乱，转到pytorch后发现框架更加pythonic。 在pytorch中，提供了一种十分方便的数据读取机制，即使用torch.utils.data.Dataset与Dataloader组合得到数据迭代器。在每次训练时，利用这个迭代器输出每一个batch数据，并能在输出时对数据进行相应的预处理或数据增强操作。 torch.utils.data.Dataset：所有的类都应该是此类
动机Flink提供了三种主要的sdk/API来编写程序:TableAPI/SQL、DataStreamAPI和DataSetAPI。我们认为这个API太多了，建议弃用DataSetAPI，而使用TableAPI/SQL和DataStreamAPI。当然，这说起来容易做起来难，所以在下面，我们将概述为什么我们认为太多的api对项目和社区有害。然后，我们将描述如何增强TableAPI/SQL和DataStreamAPI以包含DataSetAPI的功能。在本FLIP中，我们将不描述如何增强TableAPI/SQL和DataStream的所有技术细节。目标是在弃用DataSetAPI的想法上达成共识。
动机Flink提供了三种主要的sdk/API来编写程序:TableAPI/SQL、DataStreamAPI和DataSetAPI。我们认为这个API太多了，建议弃用DataSetAPI，而使用TableAPI/SQL和DataStreamAPI。当然，这说起来容易做起来难，所以在下面，我们将概述为什么我们认为太多的api对项目和社区有害。然后，我们将描述如何增强TableAPI/SQL和DataStreamAPI以包含DataSetAPI的功能。在本FLIP中，我们将不描述如何增强TableAPI/SQL和DataStream的所有技术细节。目标是在弃用DataSetAPI的想法上达成共识。
