开会时间：2023.06.1815:00 线下会议目录01【调研-数据分析（质量、ETL、可视化）】02【fhzn项目】2.1【es多维度检索接口】2.2【AI算法库资料整理】03【专利】04【学习内容】4.1【flink】01【调研-数据分析（质量、ETL、可视化）】ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。数据分析是指通过收集、清洗、整理和解释数据，以提取有价值的信息和洞察力的过程。在数据分析中，有几个重

开会时间：2023.05.2115:00 线下会议目录01【fhzn项目】02【ApacheNiFi】03【数据采集-调研】3.1【数据采集，流程图、架构图、使用场景】3.2【常见的数据采集技术及其实现方式】3.3【高考大数据技术可以使用的数据采集技术】04【专利】01【fhzn项目】GitLabMyBatis-Plus02【ApacheNiFi】案例1：同步文件，需求：同步本地磁盘文档上传到hdfs，通过NIFI自动监控磁盘文件上传到hdfs对应的文件夹。案例2：离线同步mysql数据到hdfs，需求：导出Mysql数据转换为Json串并保存到hdfs。案例3：实时监控kafka数据到hdf

目录01【hadoop】1.1【编写集群分发脚本xsync】1.2【集群部署规划】1.3【Hadoop集群启停脚本】02【HDFS】2.1【HDFS的API操作】03【MapReduce】3.1【P077-WordCount案例】3.2【P097-自定义分区案例】历史总结01【hadoop】1.1【编写集群分发脚本xsync】1）scp（securecopy）安全拷贝scp可以实现服务器与服务器之间的数据拷贝（fromserver1toserver2）。2）rsync远程同步工具rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。3）xsync集群分发脚本#!/bi

目录01【hadoop】1.1【编写集群分发脚本xsync】1.2【集群部署规划】1.3【Hadoop集群启停脚本】02【HDFS】2.1【HDFS的API操作】03【MapReduce】3.1【P077-WordCount案例】3.2【P097-自定义分区案例】历史总结01【hadoop】1.1【编写集群分发脚本xsync】1）scp（securecopy）安全拷贝scp可以实现服务器与服务器之间的数据拷贝（fromserver1toserver2）。2）rsync远程同步工具rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。3）xsync集群分发脚本#!/bi