2025/7/1 数据 · 数据工程

数据工程

整体上可划分为3个阶段：数据采集、数据预处理和数据处理。数据处理又可分为两大方向：数据分析和数据挖掘，数据分析重在以统计和可视化手段获取对具体样本的特征概况，数据挖掘重在做预测/分类，可进一步分解为特征提取、模型训练、模型测试与评估三个步骤，完成这三种步骤存在三种模式：基于逻辑推理的规则方法、基于统计的机器学习和基于联结主义的深度学习。

1. 基于规则，就是人根据自己所感知到的人脑对事物的分析模式，亲自观察样本，寻找普遍模式进行预测或分类。 2. 基于机器学习，就是从海量数据中通过统计的相关数学方法寻找规律。 3. 基于深度学习，就是只提供基本数学函数结构，这个结构通过仿照人的神经元的激活模式来实现，再直接把数据放上去利用估计值和实际值的，使用微积分对整个函数中的参数进行调参，直到获得参数不再变化或变化幅度十分微小，就认为找到了规律。

它们的实际应用就以目前火热的计算机视觉与自然语言处理来举例。自然语言处理是专门处理诸如新闻报刊、名言名著、随笔短文等文字类的数据，应用有：搜索引擎、智能客服、机器翻译、deepseek；计算机视觉是专门处理诸如摄像、绘画、视频等图像类的数据，应用有：智能手机里通常会自带的图像去雾功能、美化功能、抠图、日常使用的看图识物、自动驾驶中的目标检测。你可以简单介绍一下数据分析和人工智能的概念和应用领域，如数据清洗、数据可视化、机器学习、自然语言处理等。同时，你也可以举个例子说明它们在实际应用中的应用，如数据分析可用于销售预测、用户行为分析等，人工智能可用于图像识别、语音识别、智能客服、聊天机器人等。