2
关注
4724
浏览

数据清洗的方法?

您还未登录!暂时最多只可查看 1 条回答

去 登录! 还没有账号?去注册

luffy01 注册会员 用户来自于: 浙江省杭州市
2020-05-06 18:43

1.解决不完整数据( 即值缺失)的方法

大多数情况下,缺失的值必须手工填入( 即手工清理)。当然,某些缺失值可以从本数据源或其它数据源推导出来,这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值,从而达到清理的目的。

2.错误值的检测及解决方法

用统计分析的方法识别可能的错误值或异常值,如偏差分析、识别不遵守分布或回归方程的值,也可以用简单规则库( 常识性规则、业务特定规则等)检查数据值,或使用不同属性间的约束、外部的数据来检测和清理数据。

3.重复记录的检测及消除方法

数据库中属性值相同的记录被认为是重复记录,通过判断记录间的属性值是否相等来检测记录是否相等,相等的记录合并为一条记录(即合并/清除)。合并/清除是消重的基本方法。

4.不一致性( 数据源内部及数据源之间)的检测及解决方法

从多数据源集成的数据可能有语义冲突,可定义完整性约束用于检测不一致性,也可通过分析数据发现联系,从而使得数据保持一致。目前开发的数据清理工具大致可分为三类。

数据迁移工具允许指定简单的转换规则,如:将字符串“female”替换成“女”。

数据清洗工具使用领域特有的知识( 如,邮政地址)对数据作清洗。它们通常采用语法分析和模糊匹配技术完成对多数据源数据的清理。

数据审计工具可以通过扫描数据发现规律和联系。因此,这类工具可以看作是数据挖掘工具的变形。


关于作者

问题动态

发布时间
2020-05-06 18:41
更新时间
2020-05-06 18:43
关注人数
2 人关注

相关问题

创建数据看板的时候有模版,这个模版怎么使用?
运输与规划研究区数据集
高能伽玛粒子数据集
法医案件数据集
如果我的数据中有非常多的列,但其中很大一部分是不需要进行分析呢,有没有什么办法可以帮助处理一下?
保险费用数据集
梦幻英超数据集
DataFocus中有哪些钻取数据的方式?
属性列数据量过多,超过饼图要求的100条数量,但想设置饼图,可以做到么?
在数据看板中,标题栏背景可以设置成什么样式?

推荐内容

问 柱状图中我想要对特定数值,比如对金额小于1000的柱形突出显示要怎么做呢
问 如何打通企业内部的数据孤岛?
问 怎样新增表之间的关联关系?
问 怎样进行数值列的分组统计?
问 可以为字段设置别名吗?
问 怎样筛选出过去具体几小时的数据情况?
问 在英文环境下,如何查看过去xx天的数据情况?
问 在数值表界面对数据进行筛选的操作步骤?
问 用了count_if公式,为什么对应的列属性还是显示是文本类型,没办法用柱形图
问 可以在柱状图的柱子上显示数据吗?

热门话题

世界地图

数据分享

训练营

可视化大屏

数据源连接

热门专栏

数据分析模型探讨研究

热门用户

datafocus4a91a48594cf4ba55d028d

Cynthia

datafocus0ab0235da1f9fa1fe87330

datafocus6cbde208694dc540012c8b

Dory