2
关注
5305
浏览

数据清洗过程的具体步骤有哪些?

查看全部 1 个回答

DataFocus 初级会员 用户来自于: 浙江省杭州市
2020-05-29 13:34

数据清理一般针对具体应用,因而难以归纳统一的方法和步骤,但是根据数据不同可以给出相应的数据清理方法。 

1.解决不完整数据( 即值缺失)的方法 大多数情况下,缺失的值必须手工填入( 即手工清理)。当然,某些缺失值可以从本数据源或其它数据源推导出来,这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值,从而达到清理的目的。 

2.错误值的检测及解决方法 用统计分析的方法识别可能的错误值或异常值,如偏差分析、识别不遵守分布或回归方程的值,也可以用简单规则库( 常识性规则、业务特定规则等)检查数据值,或使用不同属性间的约束、外部的数据来检测和清理数据。

3.重复记录的检测及消除方法 数据库中属性值相同的记录被认为是重复记录,通过判断记录间的属性值是否相等来检测记录是否相等,相等的记录合并为一条记录(即合并/清除)。合并/清除是消重的基本方法。 

4.不一致性( 数据源内部及数据源之间)的检测及解决方法 从多数据源集成的数据可能有语义冲突,可定义完整性约束用于检测不一致性,也可通过分析数据发现联系,从而使得数据保持一致。目前开发的数据清理工具大致可分为三类。 数据迁移工具允许指定简单的转换规则,如:将字符串“female”替换成“女”。 数据清洗工具使用领域特有的知识( 如,邮政地址)对数据作清洗。它们通常采用语法分析和模糊匹配技术完成对多数据源数据的清理。 数据审计工具可以通过扫描数据发现规律和联系。因此,这类工具可以看作是数据挖掘工具的变形。

关于作者

问题动态

发布时间
2020-04-16 14:57
更新时间
2020-05-29 13:34
关注人数
2 人关注

相关问题

数据源怎么导入?怎么没看到导入按钮之类的?
数据看板中的图表个数有限制吗?
户籍津贴数据集
仇恨犯罪数据集
要对系统已经存在的数据表,进行多个维度筛选,例如业务数据发生在3个月之内的,并且要体现数据中的不连续日期的数据,需要怎么实现
夏装销售数据
施工清单数据
非疾病死亡数据集
支持数据增量更新吗?
在数据表管理中可以操作对中间表进行合并,对普通表可以进行合并吗

推荐内容

问 数据看板中联动,公式列点击联动是不是没有效果?
问 外部链接分享的数据看板可以进行编辑操作吗
问 如何在DataFocus中获取Token:详细步骤指南
问 钻取数据是什么,有哪几种钻取数据的方式?
问 datafocus的数据看板优势在哪里?
问 已经编辑好的数据看板,支持另存为一张新的看板吗?
问 组合图中的折线图和柱状图可以自定义配置吗?
问 数据看板中单个图表怎么筛选过滤?
问 组合图只能展示两组数据吗?
问 我鼠标移到具体数据点,可以再黑色框框中显示具体图例吗?

热门话题

搜索分析

数据搜索

数据源连接

数据仓库

柱状图

热门专栏

数据分析模型探讨研究

热门用户

DataFocus

sophia

clarance2020

Nora

datafocuse2f4b311da96137ca94a5c