智能BI 平台 笔记

BI上线地址: http://124.71.207.114/

基本功能都已完善。正好这段时间打算的学一下rabbitmq，鱼皮哥的多线程，rabbitmq正好帮我巩固和运用一些相关知识。

1.用户每次提交BI，都会按照文件里面的属性，自动创建一张表chart_id，然后将数据插入表里面去，这样便于后期用户展示，缓解查看数据量过多的情况，但是目前还没有拆分chart表，压力还是在原表上，分表并没有达到相应的解决性能问题的要求，后续打算进一步扩展将库拆分一下。这个动态sql的主要难点对我而言在于不同于之前写的已经知道相关属性，最后的返回结果都可以直接处理，但是这个项目，由于一切都是未知的，写起来不是太顺手的。

2.后续打算加入上传的csv文件可以选择需要的相应属性来进行处理，目前只能实现用户已上传的数据进行选择性导出，然后再上传处理。

3.现在加入死信队列来处理一些异常情况，直接将任务设置为失败，后续考虑的是加入重试机制，用户可以手动点击重试，也可以后端自动重试。还有个特殊的情况是，有的时候数据量多，返回文字多的时候，ai就会停止生成下面的语句。

4.现在只处理了一些AI的echart语句外面出现错误的情况，但是里面的一些json有时候还是不一定按照相应的格式来处理，后续打算对数据进行一些数据清洗，采用正则等来处理异常情况。

一开始打算使用原始方法来部署，前面的java，maven.....都没太大问题，但是erlang，rabbbitmq装的时候用到新版的，出了一些问题，然后发现大部分都是3.8 的rabbit mq的操作，由于卸不干净重装了下系统，采用3.8版本，目前暂时没问题。