2
关注
6049
浏览

什么是数据清洗呢?

您还未登录!暂时最多只可查看 1 条回答

登录! 还没有账号?去注册

luffy01 注册会员 用户来自于: 浙江省杭州市
2020-05-06 18:41

既然说到清洗,那么对应着就有需要进行清洗的“脏”,数据清洗就是对数据进行审查校验,利用有关技术转化错误、重复、不完整、冲突的“脏数据”为满足要求的高质数据。尤其是在建立数据仓库的过程中会从多个业务系统中年抽取而来的、甚至时间跨度较大的多个版本的数据,避免不了会出现大量的“脏数据”。

清洗分为两种,一种是由计算机遵循一定的规则对数据进行校验,自动对数据进行一致性检查和无效值、缺失值的处理,还有一类就是需要筛选过滤掉那些不符合要求的数据,因为这一部分可能会影响分析结果的准确性,需要人工依据数据和场景进行筛选过滤了。数据分析系统中所说的数据清洗大多是指第一种,后一种更倾向为成为ETL模块(DataFocus支持两种清洗方式)。

一般来说,数据清理是将数据精简以除去重复记录,并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是在数据导入过程中,通过一系列步骤“ 清理”数据,然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。


关于作者

问题动态

发布时间
2020-05-06 18:40
更新时间
2020-05-06 18:41
关注人数
2 人关注

相关问题

我下载了迷你版,为什么创建不了看板?
datafocus分析的数据结果,可以作为源数据对接其他系统的表单吗
旅游评价数据集
彗星数据集
如何才能分享数据看板给没有下载DataFocus的人看这个数据大屏?
一直没太理解关联中间表和问答中间表之间的区别,就是什么情况下用关联中间表,什么情况下用问答中间表比较好?
数据钻取时,向下钻取之后可以返回最初的状态吗
汉堡王的经纬度数据集
请问数据透视表如何进行行列转换?
个人医疗费用数据集

推荐内容

怎样计算数值列的标准差?
柱状图中我想要对特定数值,比如对金额小于1000的柱形突出显示要怎么做呢
什么是异常值分析?
想只取每个单位“日期”最大的那一条数据怎么限制呢?
用了count_if公式,为什么对应的列属性还是显示是文本类型,没办法用柱形图
数据钻取是什么意思?如何应用?
中间表的应用简单介绍。。。
在数值表界面对数据进行筛选的操作步骤?
在英文环境下,如何查看某个时间段之间的数据?
在英文环境下,如何查看过去xx月的数据情况?

热门话题

数据分享

版本更新

问题修复

ETL工程师

电商

热门专栏

数据分析模型探讨研究

热门用户

datafocuse2f4b311da96137ca94a5c

小玉

咕咕鸭

小号圆

电商1211李诗盈