2
关注
4863
浏览

数据清洗过程的具体步骤有哪些?

查看全部 1 个回答

DataFocus 初级会员 用户来自于: 浙江省杭州市
2020-05-29 13:34

数据清理一般针对具体应用,因而难以归纳统一的方法和步骤,但是根据数据不同可以给出相应的数据清理方法。 

1.解决不完整数据( 即值缺失)的方法 大多数情况下,缺失的值必须手工填入( 即手工清理)。当然,某些缺失值可以从本数据源或其它数据源推导出来,这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值,从而达到清理的目的。 

2.错误值的检测及解决方法 用统计分析的方法识别可能的错误值或异常值,如偏差分析、识别不遵守分布或回归方程的值,也可以用简单规则库( 常识性规则、业务特定规则等)检查数据值,或使用不同属性间的约束、外部的数据来检测和清理数据。

3.重复记录的检测及消除方法 数据库中属性值相同的记录被认为是重复记录,通过判断记录间的属性值是否相等来检测记录是否相等,相等的记录合并为一条记录(即合并/清除)。合并/清除是消重的基本方法。 

4.不一致性( 数据源内部及数据源之间)的检测及解决方法 从多数据源集成的数据可能有语义冲突,可定义完整性约束用于检测不一致性,也可通过分析数据发现联系,从而使得数据保持一致。目前开发的数据清理工具大致可分为三类。 数据迁移工具允许指定简单的转换规则,如:将字符串“female”替换成“女”。 数据清洗工具使用领域特有的知识( 如,邮政地址)对数据作清洗。它们通常采用语法分析和模糊匹配技术完成对多数据源数据的清理。 数据审计工具可以通过扫描数据发现规律和联系。因此,这类工具可以看作是数据挖掘工具的变形。

关于作者

问题动态

发布时间
2020-04-16 14:57
更新时间
2020-05-29 13:34
关注人数
2 人关注

相关问题

DataFocus Cloud 的数据安全性如何保障?
数据表管理中的维度属性有开启和关闭两种形式,其具体作用是什么?
全球主要货币的历史数据
Datafocus怎么计算环比数据?
瀑布图可以展现怎样的数据情况?
居民收入数据集
汉堡王的经纬度数据集
出行数据集
模型构建的过程中不能上传数据吗?
datafocus的用户可以即时收到数据看板或者历史问答内容被编辑或者修改了的通知吗?

推荐内容

在数据看板中,删除选项
DataFocus中位置图如何使用?
DataFocus制成图表后如何显示图表的数据标签?
地图里能显示某个城市的销量吗?
DataFocus对比水晶报表有哪些优势?
我想要新增一个数据列,把日期列中值所对应的月份提取出来要怎么操作呢
打包图的实现前提是?
对于未进行权限分配的用户可以进行哪些操作?
如何分享看板给用户?

热门话题

排序

可视化

数据仓库

中间表

数据

热门专栏

数据分析模型探讨研究

热门用户

Dory

datafocusdf8ccc6b4f389bdacbb316

Trista

seeyou_ray

datafocus4a91a48594cf4ba55d028d