#寒假打卡# day2 今日学习进度：了解了Flink cp机制，看了两篇文章，同时去了解了业务上常用的分布式事务解决方案 今日工作进度： 1. 排查了一下昨天的Flink任务为什么会出现CPU打满和限流的情况，发现瓶颈不在Kafka数据源，而是中间的一个map算子每来一个数据就会从Hbase中查询，导致长时间占用CPU等待。解决方法是增加了更多的资源提高并行度，同时在map中通过保存到一个本地变量List中攒批，达到一定量数据后再批量从Hbase中查询，减少网络IO的等待耗时 2. 和leader交流了一下后续实习情况和我的想法，虽然后续不会继续留在这家公司，但是leader也给了很多建议，真的收益颇多 3. 数据出仓任务试跑成功，但是发现离线表有大量重复数据，于是去了解了partition by的用法，明天再继续看看怎样去重