#寒假打卡# day1 好久没有记录自己每天的学习进度了，这个寒假决定开始重新记录每日学习情况 今日学习情况： 1. 学习Flink checkpoint分布式快照算法 今日工作情况： 1. 通过HiveSQL编写了一个出仓到Kafka的任务，但是不知道为什么试跑出错，明天再问问mentor 今日回顾和收获： 今天创建了一个Flink任务并拉起，并行度设置的24，晚上8点半收到消息堆积的告警，发现生产速率到晚上8点就升到2w并且一直在上升，但是消费速率一直固定在1.5w不变。 于是我去打开Flink的ui面板查看任务运行情况，发现并没有出现反压，输出算子的CPU只占用了30%左右，但是上游的算子被限流了。 这时有同事过来帮我看看，通过容器的监控发现CPU占用率达到了100%，输入的Kafka数据源的分区数是40，而我设置的并行度为24，部分slot可能需要接受两个分区的数据，但是处理速率跟不上生产速率，导致CPU飙升、输入算子被限流，最终channel产生消息堆积触发报警。 明天再去调整这个实时任务，同事说一定要根据这个任务的最大流量去分配资源和并行度。 第一次收到自己写的项目的告警，一开始有点慌张，但是很快就冷静下来并且去定位问题，也明白了为什么项目中要设置这么多监控告警，就是为了在出现问题时能够快速通知研发同学、并帮助我们进行定位，总的来说今天也收获满满。 明日计划： 1. 解决离线表出仓的报错 2. Flink cp学完 3. 做题*2 文章*2