3.1面试总结

郑州 某小公司 数据分析师实习生


笔试


5道SQL有关的(选择题)、5道关于Python的(问答题)

1.过滤条件时,使用正则,关键字是什么?

2.UNIQUE索引的作用?

3.若取出数据中的某一列如何转换为list

4.DataFrame的结构如何导出为Excel

5.如何处理空值,使用空值上下两列的平均值替换?

其他的记不太清了


面试


主要是围绕我的项目展开的。

1.自我介绍

2.整个用户行为分析系统是你个人开发还是多人开发?你负责的模块是什么(职责)?

3.你的这个系统都上线了吗?可以访问吗?

4.整个系统架构是什么(或者说数据的整体架构是怎么样的)?

5.使用Hive的时候,处理过json数据吗?如果json里面套json,应该怎么处理?

6.看你简历中说到了Flume、Kafka,请分别说明在项目中的作用?为什么使用它们?

7.请说一下Zookeeper 的作用?如果服务器宕机了,可以直接恢复吗?

8.请说一下数仓每一层的作用,数据怎么流入的,数据是怎么处理的?

9.看到你有写了解CDH,可以说一下吗?

10.你期望的薪资是多少?

11.你未来发展的方向?

反问

1.公司的主要方向?

2.对实习生的要求?多长时间转正?



0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
半生
作者分享
星球里面那个项目有后端模板的详细介绍呀
3
#复盘# 简单的复盘一下最近的情况。 ----------------------------------------- 主线:回学校参加答辩-->渡劫-->五一放假放松 4月24日下班时和组长交接一下最近关于“网络空间测绘项目”的进展以及未完成的任务。不得不说,初入社会,自己身上还有很多需要锻炼的(做事不是很稳重,毛毛燥燥的,不知道怎么和后端对接,自己懂,但不知道该怎么和后端讲,不知道大家初入职场怎么样,未来自己会去慢慢改变)。 答辩前(27日答辩),有幸和学弟、学妹们分享了一下自己在学习和求职过程中遇见的困难以及自己的一些心得(和他们吹了下皮,[呲牙][呲牙][呲牙]),自己也变得成熟了,说起话来也是有模有样了(4年前,自己还是很腼腆的,大学真的让我改变了很多)。不得不说,交流也是一门艺术活。 答辩中(27日),我是第二答辩组最后一个上场的,听说上午挂了好几个,下午还有几个指标,我相信自己可以过得,其他人论文差不多40页左右,我80页左右(指导老师对我要求有点高,同时这也是他第一次做毕业班指导老师,能理解,就是过程有点痛苦),痛苦面具.jpg,最后一个答辩挺煎熬的(有点急性子),幸好自己坚持了下来。 答辩后,28日下午拍了一下毕业照,毕业照.jpg,嘿嘿(想看照片,付费,[得意][得意],开个玩笑),回顾4年来,在学生会,结识了一批志趣相投的伙伴(特别是学长、学姐,在我求职的过程中给了很多的建议),除了日常工作,我们也时常一起聚餐(其他部门都快羡慕死了),虽然毕业了,我们依然是最好的伙伴。当然了,室友也是噢。29日、30日在江西就是在渡劫,那雨下的是真大,不适合出行。 五一假期,5月1日,和室友去南昌嗨皮了一下,商场人居多,差点没挤出来,不过大家都挺开心的。 5月3日,返郑。 5月4日,和好朋友去郑州龙湖湿地公园闲逛,吃了青团(之前见了很多次,没吃过就买来尝了尝,还不错),晚上和好朋友去郑州一家名为“湖南土菜馆”吃了鱼,好朋友差点被辣死(微辣),不得不说,河南人真的受不了湖南的辣。 5月5日,调整一下状态准备上班。 总结:不得不说,当学生真好,不慌不忙的;工作了,节奏真的很快,容易压力大,所以要好好调节自己的情绪,适当的进行锻炼,让自己保持良好的状态。工作时就认真的工作,放假就好好的放松,张弛有度。
8
浅浅的聊一下近一周的情况 清明三天假期(主要是学习ETL工具kettle、调度工具oozie,毕竟难得放个假,还是要干点自己喜欢的事情),kettle在一定程度上减少了脚本(如python脚本)开发来处理数据,并不绝对,对于较脏的数据来说,正则(后面还要强化) 脚本可能是一种不错的选择。kettle目前还没有学完,想着后面慢慢运用到公司数据录入这一块。公司这边用navicat比较多,于是我有个想法:后面搞个数据比较一下navicat和kettle的数据处理性能(刨除navicat与sql相关的,使用navicat本身的数据处理方式)。 目前公司使用CDH来管理大数据平台,数仓有以下几层:ods层(分区)、dwd层(分桶,根据某些字段排序,有一张表是多表合并而成,去除重复值等)、ads层(有一张ES外部表),整个数仓的数据供内部渗透组使用。最近我在使用oozie来定时调度数仓的每一层,我的思路是这样的:使用一个workflow来协调多个shell(一层一个shell),然后使用coordinate定时,目前状况百出,各种各样的坑,目前还在解决。同时我也有个疑问:oozie也可以执行hive脚本,oozie执行shell脚本和oozie执行hive脚本性能一样吗?哪种方式更好?整个数仓都是json数据,除了采用创建es外部表的方式,还能采用哪些方式提高查询速度呢? 目前也是在骑驴找马,一来小公司不是很稳定,制度也不是很完善,二来也想自己未来有更好的发展。当然了,以上可能还有很多描述不当的地方,请大家谅解。
12
#心得 本周是来公司的第三周(数据分析实习生),11号下午入的职,前两周一直在录数据(excel、txt、csv、json、access数据库等导入到MySQL),数据录入不是很难,关键是数据还是比较脏,自己还得清洗,尤其是自己手写正则(用的Emeditor工具写正则清洗一下),最近也是学习了一下,果然不会的东西还是要还回来的[撇嘴][撇嘴];今天下午组长开会,让我去跟他一起搞网络空间测绘(搞大数据这一块),让我写个脚本定时同步数据到ods层,还是有点小幸运的,我的另外一名同事还在拉数据、录入数据(人家来的时间比我长,心疼他一会儿),开个玩笑,最近也有在学习鱼皮哥各用户中心项目,已经学习到了项目部署那一节,后面会继续腾出时间学习,最后总结一下:大环境我们无法改变,只有改变自己;有时候运气也是实力的一种表现,我们要自信,要相信自己;在公司,我们尽量维护好人际关系。
11
用户中心 有小伙伴出现过这个问题吗(登录时错误的提示出不来)
5
下载 APP