文章目录第3章集成Hive引擎3.1环境准备3.2访问已有的Paimon表3.3创建Paimon表3.4通过外部表访问Paimon表第3章集成Hive引擎前面与Flink集成时，通过使用paimonHiveCatalog，可以从Flink创建、删除、查询和插入到paimon表中。这些操作直接影响相应的Hive元存储。以这种方式创建的表也可以直接从Hive访问。更进一步的与Hive集成，可以使用HiveSQL创建、查询Paimon表。3.1环境准备Paimon目前支持Hive3.1、2.3、2.2、2.1和2.1-cdh-6.3。支持HiveRead的MR和Tez执行引擎，以及HiveWrite
什么是Paimon?Paimon的官网介绍是：Streamingdatalakeplatformwithhigh-speeddataingestion,changelogtrackingandefficientreal-timeanalytics.Paimon是流数据湖平台，具有高速数据摄取、变更日志跟踪和高效的实时分析能力数据湖是大数据近年来的网红项目，熟知的开源数据湖三剑客Apachehudi、Apacheiceberg、Databricksdelta近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。Paimon的前身是flink-table-store即
前段时间Flinktablestore更名为ApachePimon，并重新进入Apacheincubator。截止目前，incubator-paimon项目已经在github上收获了600+Star（https://github.com/apache/incubator-paimon）：之前虽然了解到Finktablestore，但是没空去了解它，趁此机会，我也花了2天时间来专门对它探个究竟，看看到底值不值得研究。Pimon目前只进行到0.4-SNAPSHOT的开发，社区提的Issue也很少，太少的Issus并不一定说明系统足够稳定，倒是可能表明当前使用的太不广泛。任何新生事物要得到广泛认可，
随着结构化数据、半结构化数据和非结构化数据的不断增加，越来越多的企业选择将数据存储在数据湖中，便于更好地管理和利用数据资产。但是企业对数据更新处理时效性的要求越来越高，数据湖无法实现高吞吐、低延迟的数据摄入、流式订阅以及实时查询。因此流式数据湖存储技术诞生了。在近日举办的WOT全球技术创新大会2023·北京站的《大数据技术创新》专场中，来自阿里云的高级技术专家李劲松带来了主题为《ApachePaimon流式数据湖V0.4与后续展望》的精彩分享，从理论、实践和未来发展方面详细介绍了ApachePaimon流式数据湖。ApachePaimon流式数据湖是什么？ApachePaimon是一个从准实时
流式数据湖存储技术，ApachePaimon是什么？00导读01什么是ApachePaimon02开放的数据格式03大规模实时更新04数据表局部更新05流批一体数据读写来源：https://paimon.apache.org/00导读2023年3月12日，FlinkTableStore项目顺利通过投票，正式进入Apache软件基金会(ASF)的孵化器，改名为ApachePaimon(incubating)。Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代的StreamingLakehouse技术，促进数据在数据湖上真正实时流
2023年3月12日，FlinkTableStore项目顺利通过投票，正式进入Apache软件基金会(ASF)的孵化器，改名为ApachePaimon(incubating)。随着ApacheFlink技术社区的不断成熟和发展，越来越多企业开始利用Flink进行流式数据处理，从而提升数据时效性价值，获取业务实时化效果。与此同时，在大数据领域数据湖架构也日益成为新的技术趋势，越来越多企业开始采用Lakehouse架构，基于DataLake构建新一代DataWarehouse。因此，Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一
2023年3月12日，FlinkTableStore项目顺利通过投票，正式进入Apache软件基金会(ASF)的孵化器，改名为ApachePaimon(incubating)。随着ApacheFlink技术社区的不断成熟和发展，越来越多企业开始利用Flink进行流式数据处理，从而提升数据时效性价值，获取业务实时化效果。与此同时，在大数据领域数据湖架构也日益成为新的技术趋势，越来越多企业开始采用Lakehouse架构，基于DataLake构建新一代DataWarehouse。因此，Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一
