编程导航数据分析话题讨论

数据分析

20 参与
分享

快来分享你的内容吧~

点击登录,快来和大家讨论吧~
表情
图片
话题
打卡
综合
交流
文章
问答

10个免费的网站分析工具,竟然比付费的更香?

学妹问我:鱼皮 gie gie,你们团队这么多网站产品,都是怎么做数据分析的啊? ![](https://pic.code-nav.cn/post_picture/1601072287388278786/Ae9Nglqgr5aO3qcy.webp) 其实有很多现成的免费资源,可以让你不费吹灰之力搞定各种数据分析场景。 - 网站流量统计 - 前端错误监控 - 用户行为分析 - 自定义业务分析 - 后端应用监控分析 - 后端资源监控分析 - 后端自定义指标分析 干货较多,建议收藏~ > ⭐️ 推荐观看视频版:https://bilibili.com/video/BV1CkUDBiEMR ## 网站分析保姆级教程 先说说最基础的 **网站流量分析**。你肯定想知道每天有多少人访问你的网站、他们从哪来、在哪个页面待得最久对吧? 可以使用百度统计、51.LA 网站统计或 Google Analytics,只需要给你的网站文件添加一段代码就能轻松接入。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/SxP7PWS3m0OBzAB1.webp) 然后就能看到访客数量和趋势、分析访客的来源、分析页面的访问情况等等: ![](https://pic.code-nav.cn/post_picture/1601072287388278786/G4A3y4WhoIeFxhzo.webp) 可以帮你了解用户的偏好、获取页面优化的思路。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/kokqazaiAWIuNMqh.webp) 如果你做的是小程序,那就更简单了,比如微信小程序直接用官方自带的数据分析就行。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/J5cCYLSTMXfYzxOM.webp) 如果你想分析别人的网站流量,怎么办呢? 可以用 Similarweb 或者 AI TDK 这类工具,输入网址就能看到对方的流量估算、访问来源和热门关键词,做竞品分析和 SEO 搜索引擎优化的时候特别好用。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/Y31k72I7cBZDVZvL.webp) 光知道用户的正常使用情况还不够,万一你的网站按钮点不动了,用户那边疯狂报错,你这儿却一无所知,那就尴尬了,说不定会影响收入!所以 **前端错误监控** 必不可少。 Sentry 是业界主流的开源前端监控,它能帮你捕获和统计各种代码报错。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/fxq0i0GrTEMYWKYe.webp) 还能记录用户的系统环境和具体报错信息,便于你排查和修复 Bug。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/aQNanUU9w5TUU5UY.webp) 不过免费版存在限制,或者得自己搭建服务器部署开源代码。所以我们团队用的是国内的灵雀应用监控,也是一段代码就能接入,能够实时捕获前端的各种异常报错,查看具体的错误信息等等。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/KFWeYHvPjDaMrRK1.webp) 有时候光知道哪里出错了还不够,你还想知道用户到底是怎么操作的?为什么会触发这个错误?或者为什么用户不愿意付费?这时候就得上 **用户行为分析** 工具了。 我直接掏出微软 100% 免费的 Clarity,能录制用户的真实操作回放。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/RAO1XFXjAIOLNVew.webp) 像我们团队的 [模拟面试产品 - 面多多](https://ai.mianshiya.com/) 就在用它,用户点击了哪里、滚动到哪里、在哪个按钮上犹豫不决,全都一清二楚。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/CPQnqfM2X6ljTgua.webp) 还能通过热度地图快速分析用户的喜好,从而帮助优化产品功能按钮的布局,降低产品的使用难度,发现很多凭空根本想不到的问题。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/49EpXXg3r8zGq2QJ.webp) 前面说的这些工具提供的都是通用指标,但每个产品的业务逻辑不一样,有些你特别关心的数据,比如付费转化率、功能使用频次等,光靠现成工具可能拿不到,这时候就得上 **自定义业务分析** 了。 刚开始我有点想当然,直接就为一些大家耳熟能详的商业 BI 产品付费了,但后来发现对于小团队来说,其实没必要花那个钱,直接搭建开源的 DataEase 或 Superset 就挺香的,可以对接 MySQL 数据库等各种自己业务的数据源,然后根据需求来配置、拖拖拽拽就能做出各种可视化图表和看板。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/JegMxLAjjwm4AbE9.webp) 实在碰到特别个性化的需求,还可以自己搭建看板。现在有了 AI 加持,配合 ECharts 图表库,写几句提示词就能生成可视化看板,真的轻松多了。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/9zN29LkU79NungnD.webp) 说完前端,咱后端的数据分析也不能落下啊。 用户访问你的网站,背后都是一个个接口在提供数据,怎么知道接口是否正常?有没有优化空间呢?这时就需要后端的 **应用监控分析** 了。 像我们团队在用 ARMS 应用实时监控服务,能帮你全面监控应用的性能,快速发现出错或者速度较慢的接口。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/nBPhiOeALEleQDbQ.webp) 还能进一步查看错误详情,甚至是分析接口的完整调用链,能快速定位问题。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/OSTUetrqxprKEVmd.webp) 除了应用层面,服务器、数据库、缓存这些 **资源的监控分析** 也很重要,如果它们都跑在云上,那就直接用云服务商自带的监控看板就行,各种指标一目了然。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/PvOcyG7vKwN7T1bn.webp) 要是你想统一监控分析更个性化的指标,那就得请出 Prometheus + Grafana 这对王炸组合了。Prometheus 负责采集各种自定义指标数据,为开发者带来监控的火种。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/StA3VWMAtEKygpPp.webp) Grafana 则负责把这些数据变成炫酷的可视化大屏。看着一堆实时变化的图表,我仿佛掌控着整个系统的脉搏,恍惚间有种成为科幻电影里男猪脚的感觉~ ![](https://pic.code-nav.cn/post_picture/1601072287388278786/0IR58pKXQynubFSG.webp) --- OK 就分享到这里,其实还有很多不错的开源项目,比如 SkyWalking、Zipkin 来管理应用性能,ELK 来集中分析日志等等。 ![](https://pic.code-nav.cn/post_picture/1601072287388278786/ZDzzYLsPh5x2GlB5.webp) 有了这些工具,网站数据分析其实没有那么复杂,关键是要根据需求选择合适的方案,把时间省下来做产品才是正道。 如果本文对你有帮助,点个赞吧,感激不尽! ![求点赞](https://pic.code-nav.cn/post_picture/1601072287388278786/zH2q4S7stjlWo3aC.webp) ## 更多 💻 编程学习交流:[编程导航](https://www.codefather.cn/) 📃 简历快速制作:[老鱼简历](https://www.laoyujianli.com) ✏️ 面试刷题神器:[面试鸭](https://www.mianshiya.com) 📖 AI 学习指南:[AI 知识库](https://ai.codefather.cn/)

国庆也不能松懈,来道SQL题😀 表: Calls​ +--------------+----------+​ | Column Name | Type |​ +--------------+----------+​ | caller_id | int |​ | recipient_id | int |​ | call_time | datetime |​ +--------------+----------+​ (caller_id, recipient_id, call_time) 是这个表的主键。​ 每一行所含的时间信息都是关于caller_id 和recipient_id的。​ 编写一个 SQL 查询来找出那些ID们在任意一天的第一个电话和最后一个电话都是和同一个人的。这些电话不论是拨打者还是接收者都会被记录。​ 结果请放在一个任意次序约束的表中。​ 查询结果格式如下所示:​ 输入:​ Calls table:​ +-----------+--------------+---------------------+​ | caller_id | recipient_id | call_time |​ +-----------+--------------+---------------------+​ | 8 | 4 | 2021-08-24 17:46:07 |​ | 4 | 8 | 2021-08-24 19:57:13 |​ | 5 | 1 | 2021-08-11 05:28:44 |​ | 8 | 3 | 2021-08-17 04:04:15 |​ | 11 | 3 | 2021-08-17 13:07:00 |​ | 8 | 11 | 2021-08-17 22:22:22 |​ +-----------+--------------+---------------------+​ 输出:​ +---------+​ | user_id |​ +---------+​ | 1 |​ | 4 |​ | 5 |​ | 8 |​ +---------+​ 解释:​ 在 2021-08-24,这天的第一个电话和最后一个电话都是在user 8和user 4之间。user8应该被包含在答案中。​ 同样的,user 4在2 021-08-24 的第一个电话和最后一个电话都是和user 8的。user 4也应该被包含在答案中。​ 在 2021-08-11,user 1和5有一个电话。这个电话是他们彼此当天的唯一一个电话。因此这个电话是他们当天的第一个电话也是最后一个电话,他们都应该被包含在答案中。

数据岗,本科竟然也能拿offer?

<html> <head></head> <body> <div class="content ql-editor"> <div class="milkdown-editor"> <div class="milkdown"> <div class="ProseMirror prose dark:prose-invert outline-none dark:!bg-[#20242A] box-border milkdown-theme-nord editor ProseMirror-focused"> <p><strong>数据岗,本科竟然也能拿offer?</strong></p> <p><br class="ProseMirror-trailingBreak"></p> <p>大家好,我是来自西南某Top2 985大学计科专业的Jackey同学,截止目前本人已经拿到美团的数据开发春招实习转正offer,同时正在以应届生身份参加25秋招,目前多家大厂面试进行中。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>主要求职意向为数据方向(数据开发/数据科学/数据分析)。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>接下来本人将从数据岗就业现状、本科科研经历、个人求职经历等方面进行详细介绍,同时,在未来本人也将持续性分享数据方向的面经、知识点,希望以自己的视角帮助大家减少信息差,获取更多对数据方向的认知。</p> <h2 id="">为什么是数据岗?</h2> <p>相信大部分同学可能对于前端和后端的岗位和方向耳熟能详,却对数据方向比较陌生,可能只是对“大数据”这三个字有印象,亦或是从某些培训机构口中得知“想失业,就选大数据” “数据岗需求少” “中厂没有数据岗”等传言。然而这些信息却不一定准确,从横向来看当前数据方向岗位的难度其实远低于预期,不管是从选择面(岗位类型多、大厂中厂基本均有)来看,还是从岗位数量来看;纵向来看,数据岗位技术繁多更新迭代快,作为应届生第一份工作能够快速积累技术,制造产出,是一个不错的深耕方向。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>其实我本人对该方向岗位的认知也在不断的探索,这包括一路的面试,与知名院校硕士博士学长学姐的交流,还有与企业从业者的交流。一开始,我的目光仅仅聚焦于跟随20年开始AI浪潮读研的学长学姐,那段时间,大厂算法工程师的头衔对于我这个普通家庭出生的孩子简直是光芒万丈。时间来到22年,随着互联网寒冬的降临,大厂缩招,我开始对这些“大厂程序员”祛魅,也开始认识到劳动力市场的不稳定性和复杂性。更重要的是,我也意识到了,对于一个对前端后端技术不那么感兴趣的计算机本科同学来说,通过读研走算法岗,也许不是进入大厂的唯一途径......</p> <h2 id="">本科期间经历</h2> <h3 id="">绩点竞赛,如何兼得鱼和熊掌</h3> <p>如果问我大学期间对于哪一件事最后悔,我的答案一定是主动放弃进入学院ACM集训队的时候。当时年少轻狂,没有想到自己竟然这么快向社会妥协,加入到投简历找工作的队伍中。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>所以,假如你是一名大一学生,请你想清楚,三年后,哪些是你最希望你写在简历上的东西。想好了是哪些事,然后就去做它,把它做好,我敢保证到了那个时候你一定不会后悔的。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>对我来说,大一只是一个不断试探的过程,除了保持了3.9左右的必修绩点,参加了几个比赛以外,我似乎也没有取得什么惊人的成就。如今我的ACM队友也已经一金一银,不过想必与他们相比,我的经历也许才是大多数普通大学生的经历吧,而普通的经历完全没有成为我求职路上的绊脚石。</p> <h3 id="">果断投名,进实验室先发制人</h3> <p>我个人认为大学有一个好处——它是自由的,同时又是试错代价最小的‘类社会’环境。在以后工作、进入社会以后,我们会发现我们面临问题的规模、难度都会以指数级增加,更何况试错成本和沉没陈本也水涨船高,没有在大学期间通过犯错积累的经验,很可能在未来以一个巨大的失误返还给我们,因此在大学我们要多尝试。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>对我个人来说,我的尝试便是在大二开学前,向学院的数十个导师发去了邮件,请求以科研助理的角色加入实验室进行项目实习。我的第一个项目是异常检测相关的项目,第二个项目则是时间序列预测相关的项目。这些在实验室参加的数据挖掘项目,最终帮助我获得了面试资格,并超越哪些“水”项目,最终在候选人中脱颖而出。</p> <h3 id="offer">突击半月,斩获大厂外企offer</h3> <p>我本人在今年二月份之前,其实一直没有在国内直接工作的想法,一是因为本人在大一已经确定拿到保研资格,二是因为本人之前一直打算冲一下国外直博的机会(TOEFL都考好了。。。)。时间来到今年三月,我突然想在国内先攒一段实习经历,于是就突击准备了一波,顺手拿了两个实习offer之后也就入职了,后续还会分享在企业的实习心得。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>至于如何准备,这里说两点吧</p> <p><br class="ProseMirror-trailingBreak"></p> <p>很多同学写简历时会自卑,纠结,自己本科期间的经历太少,没有奖学金,没参加什么国家大赛,觉得拿不出手。以我的经历来说,其实这都没那么重要,面试看重的更加的是个人全面的能力,以及在面试中所表现出来的综合素质。所以自信投,被捞了自信面就行了,不要有太多顾虑。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>另一点是,往往在投递实习时,实践安排很紧,对于要在导师和实习之间夹缝生存的硕士研究生同学更是如此,这样一算下来,留给我们复习八股、刷题更是不多了。因此针对这一点,我们更是要好好利用已有信息,做针对性准备以最大化投入产出比。</p> <p><br class="ProseMirror-trailingBreak"></p> <p>未完待续...</p> </div> </div> </div> </div> </body> </html>

贺姐您好,我是本科是双非本科非

贺姐您好,我是本科是双非本科非科班,现即将就读于末 9第二学士学位,大数据专业。 以前学过: Python,Python 常用的数据分析包(numpy,matplotlib,pandas,scipy,sklearn 等),机器学习,运筹学,统计学,数据建模相关算法,深度学习也会一些,比如 pytorch,卷积神经网络,OpenCV,yolo,图像学。 其他还会 C++,MySQL,liunx,redis,kettle,SPSS。也打过蓝桥杯,数模比赛,天池。 但是以上我都忘得差不多了,都是两年前学的了。而且我数学不好。考研数学二才 50 多分。目前无实习。明年就要参加秋招了。 现在比较纠结我这学历是否能够从事数据分析或者数据挖掘方面的工作(都说数分很卷,学历要求高)。如果可以的话,我下一步该补一些哪些知识。如果不可以的话,还有其他就业方向推荐吗,比如数据开发?java 后端?数据产品经理?

千哥你好,提问有一个比较困惑的

千哥你好,提问有一个比较困惑的问题 【如果说是想要应聘数据处理或者说是数据分析岗位的话,那么有什么证书或者说是比赛是比较具有含金量的呢,以及这种岗位会卡学历之类的吗?又或者说是技术栈方面的】 我和同学目前都是专科的,人工智能专业,然后都是明年插本的,我们现在都在准备插本的考试 我们之前听老师说过我们这个专业以后可以走的路有数据分析或者说是数据处理之类的,又或者说是ai提示词 我们目前学习的有机器学习,深度学习,自然语言处理等专业课 虽然说只是学的皮毛,但是我们也很好奇,如果我们要 在本科学历的情况下找数据分析和数据处理之类的岗位的话,那么我们需要什么样的东西来证明自己呢? 我们优先想的是 比赛或者说是证书,但是由于我们的辨别能力有限,所以在搜索引擎上找到的都并不敢信 然后技术栈方面的话,我们找到的有:tensflow,numpy等,这些我们其实已经有了一个初步的了解了,不敢说用的很好,但是普通的使用是没有关系 最后还有一个比较担心的点是学历问题,因为算法方面的东西的话,基本上没个研究生起步是不可能的,但是数据分析,数据处理这方面,我个人觉得也算是算法的一个分支,但是并不清楚它的一个具体情况,招聘网站上看到的有本科也有硕士,但是在一个比较两极分化的情况下还是不太敢信 (谁知道有没有学历潜规则。。。) 以上是问题以及问题背景描述,辛苦千哥了!

贺生姐,我现在入职一家跨境电商

贺生姐,我现在入职一家跨境电商做数据分析,公司现在主要是以powerbi为主,python也会用到,个人想往数据分析方向发展,我应该如何规划,需要学习哪些内容?

哥大统计学硕,数据分析、数据挖掘、数据仓库、开发该如何选择?

你好贺生姐,我有一些职业方向和自学编程的问题想向您咨询一下: 首先介绍我的基本背景: 我是纽约石溪大学本科学的是应用数学还修经济学,然后我本科期间没有参加什么学术类的活动和比赛,但是参加了招行有关一级市场的实习,并没有关于写代码的实习。今年考了特许金融分析师的一级考试,今年8月份准备去哥伦比亚读统计学的研究生,这个项目大概会有1年或者一年半的时间,导向可以选数据科学上机器学习,或者金融上的一些时序分析和随机过程的建模课程。 职业方向,我感觉我对开发,算法,数据挖掘,AI都挺有兴趣的,但是我的背景来看是不是以数据挖掘为方向最好呢?但是如何才能避免和大多数人同质化,然后突出自己的学习优势呢?深究分析的算法还是如何?我是否研究生阶段应该专研机器学习一个方向?由于没有在国内实习过,我想问问国内目前来看读数据挖掘去哪个行业会好一些,还是只盯着大厂呢?(要是有参考的公司最好了) 自学编程上,之前没有花特别多的时间学习编程,最近学了python的基础语法和mysql还有导入的库比如Numpy, Pandas, Matplotlib, sklearn,然后我有一个朋友做数仓的建议我学java我就又把java的基础的又学了一遍,感觉脑子对python的一些记忆有点混乱了。但是现在看知识星球里的分享感觉是不是还是得继续学python?还是说马上学C?姐有什么建议但说无妨,麻烦救救孩子,好焦虑😭

商汤测开岗 or 独角兽 AI 公司数分岗,如何选择?

想请问实习offer的选择 我是南京大学大四学生,本科软件工程。有读研(香港一年或美国)打算。 现在有商汤的测试开发以及Minimax(新AI独角兽)的数据分析offer。 我该怎么选择? 本人比较担心测试开发岗没有前途? 在规划上没有特别明确的方向。 所以想请教一下!

3.1面试总结

<html> <head></head> <body> <div class="content ql-editor"> <p>郑州 某小公司 数据分析师实习生</p> <p><br></p> <h2><strong style="color: rgb(51, 51, 51);">笔试</strong></h2> <p><br></p> <p>5道SQL有关的(选择题)、5道关于Python的(问答题)</p> <p>1.过滤条件时,使用正则,关键字是什么?</p> <p>2.UNIQUE索引的作用?</p> <p>3.若取出数据中的某一列如何转换为list</p> <p>4.DataFrame的结构如何导出为Excel</p> <p>5.如何处理空值,使用空值上下两列的平均值替换?</p> <p>其他的记不太清了</p> <p><br></p> <h2><strong style="color: rgb(51, 51, 51);">面试</strong></h2> <p><br></p> <p>主要是围绕我的项目展开的。</p> <p>1.自我介绍</p> <p>2.整个用户行为分析系统是你个人开发还是多人开发?你负责的模块是什么(职责)?</p> <p>3.你的这个系统都上线了吗?可以访问吗?</p> <p>4.整个系统架构是什么(或者说数据的整体架构是怎么样的)?</p> <p>5.使用Hive的时候,处理过json数据吗?如果json里面套json,应该怎么处理?</p> <p>6.看你简历中说到了Flume、Kafka,请分别说明在项目中的作用?为什么使用它们?</p> <p>7.请说一下Zookeeper 的作用?如果服务器宕机了,可以直接恢复吗?</p> <p>8.请说一下数仓每一层的作用,数据怎么流入的,数据是怎么处理的?</p> <p>9.看到你有写了解CDH,可以说一下吗?</p> <p>10.你期望的薪资是多少?</p> <p>11.你未来发展的方向?</p> <p><strong>反问</strong>:</p> <p>1.公司的主要方向?</p> <p>2.对实习生的要求?多长时间转正?</p> <h2><br></h2> <p><br></p> </div> </body> </html>

贺生您好,看了一些您之前的回答

贺生您好,看了一些您之前的回答,想请问您,java后端开发跟数据开发这两个的区别,比如1薪资方面,2市场需求(哪个需求量大),3这两个职业的门槛(学历门槛,知识储备需要多少),4未来发展? 补充:我是专升本,本科大数据专业。

下载 APP