2
关注
6394
浏览

什么是数据清洗呢?

查看全部 1 个回答

luffy01 注册会员 用户来自于: 浙江省杭州市
2020-05-06 18:41

既然说到清洗,那么对应着就有需要进行清洗的“脏”,数据清洗就是对数据进行审查校验,利用有关技术转化错误、重复、不完整、冲突的“脏数据”为满足要求的高质数据。尤其是在建立数据仓库的过程中会从多个业务系统中年抽取而来的、甚至时间跨度较大的多个版本的数据,避免不了会出现大量的“脏数据”。

清洗分为两种,一种是由计算机遵循一定的规则对数据进行校验,自动对数据进行一致性检查和无效值、缺失值的处理,还有一类就是需要筛选过滤掉那些不符合要求的数据,因为这一部分可能会影响分析结果的准确性,需要人工依据数据和场景进行筛选过滤了。数据分析系统中所说的数据清洗大多是指第一种,后一种更倾向为成为ETL模块(DataFocus支持两种清洗方式)。

一般来说,数据清理是将数据精简以除去重复记录,并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是在数据导入过程中,通过一系列步骤“ 清理”数据,然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。


关于作者

问题动态

发布时间
2020-05-06 18:40
更新时间
2020-05-06 18:41
关注人数
2 人关注

相关问题

使用什么公式计算的是今年当前月比去年同一月份的增长比例?
层次数据可视化有几种?
在数据看板中,图表组件的透明度及旋转角度如何设置?
堆叠柱形图一般在什么情况下使用?图形设置什么样的展现方式最佳?
什么是中间表?
DataFocus中的中间表是什么?有什么用?
活动数据集
GCC图书馆数据集
名称及其含义数据集
在折线图类型的数据分析结果中可以对某一数据显示具体内容吗,其他隐藏?

推荐内容

问 在英文环境下,如何查看上个季度的数据情况?
问 分布式集群是什么意思?
问 在英文环境下,如何查看上个月的数据情况?
问 数据清洗的方法?
问 怎样实现同一数据列中的不同列中值的对比显示?
问 怎样筛选出过去具体几小时的数据情况?
问 在英文环境下,如何查看下个月的数据预测情况?
问 用什么关键词查看未来xx天的数据情况?
问 在英文环境下,如何查看具体某一月的数据?
问 在做销量分析透视表的时候,想新增一列把业务员和审核状态的值拼接起来要怎么操作

热门话题

可视化大屏

数据可视化

可视化

项目

Excel

热门专栏

数据分析模型探讨研究

热门用户

clarance2020

datafocus0ab0235da1f9fa1fe87330

seeyou_ray

datafocuse2f4b311da96137ca94a5c

work2020