2
关注
4295
浏览

数据清洗的方法?

您还未登录!暂时最多只可查看 1 条回答

登录! 还没有账号?去注册

luffy01 注册会员 用户来自于: 浙江省杭州市
2020-05-06 18:43

1.解决不完整数据( 即值缺失)的方法

大多数情况下,缺失的值必须手工填入( 即手工清理)。当然,某些缺失值可以从本数据源或其它数据源推导出来,这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值,从而达到清理的目的。

2.错误值的检测及解决方法

用统计分析的方法识别可能的错误值或异常值,如偏差分析、识别不遵守分布或回归方程的值,也可以用简单规则库( 常识性规则、业务特定规则等)检查数据值,或使用不同属性间的约束、外部的数据来检测和清理数据。

3.重复记录的检测及消除方法

数据库中属性值相同的记录被认为是重复记录,通过判断记录间的属性值是否相等来检测记录是否相等,相等的记录合并为一条记录(即合并/清除)。合并/清除是消重的基本方法。

4.不一致性( 数据源内部及数据源之间)的检测及解决方法

从多数据源集成的数据可能有语义冲突,可定义完整性约束用于检测不一致性,也可通过分析数据发现联系,从而使得数据保持一致。目前开发的数据清理工具大致可分为三类。

数据迁移工具允许指定简单的转换规则,如:将字符串“female”替换成“女”。

数据清洗工具使用领域特有的知识( 如,邮政地址)对数据作清洗。它们通常采用语法分析和模糊匹配技术完成对多数据源数据的清理。

数据审计工具可以通过扫描数据发现规律和联系。因此,这类工具可以看作是数据挖掘工具的变形。


关于作者

问题动态

发布时间
2020-05-06 18:41
更新时间
2020-05-06 18:43
关注人数
2 人关注

相关问题

我的数据表中有一个日期列,想从这个年月日的数据中将月份单独提取出来,该怎么操作?
婴儿学习说话数据集
Datafocus目前支持连接哪些数据库?
记者死亡数据
学生时间管理绩效数据集
南极洲企鹅数据
在搜索框中多个条件的搜索,用and连接 ,搜索不出来数据,但是实际是有数据的,怎么办?
删除填报数据模版,对应的工作表会有影响么?
如何实现数据看板的联动查询?对数据有什么要求?
怎么对搜索出来的数据进行排序操作?

推荐内容

怎样筛选查看排名前x位XX数据列的数据?
DataFocus对业务数据的整合能力是怎么样的?
在英文环境下,如何查看本周到目前的数据?
告警多久提醒一次吗?
对于多页数据怎样快速对页码进行定位?
想只取每个单位“日期”最大的那一条数据怎么限制呢?
咨询下,在DataFocus里面,怎么把长整型的时间戳格式转化成系统可识别的日期格式
怎样观察按指定数值列降序排序的数据情况?升序呢?
什么是数据清洗呢?
在英文环境下,如何查看具体某一月的数据?

热门话题

地图

新人报道第一次使用

数据

数据源连接

散点图

热门专栏

数据分析模型探讨研究

热门用户

电商1211李诗盈

achilles

Bat

datafocus0ab0235da1f9fa1fe87330

滴滴叭叭唔