2
关注
2202
浏览

什么是数据清洗呢?

查看全部 1 个回答

luffy01 注册会员 用户来自于: 浙江省杭州市
2020-05-06 18:41

既然说到清洗,那么对应着就有需要进行清洗的“脏”,数据清洗就是对数据进行审查校验,利用有关技术转化错误、重复、不完整、冲突的“脏数据”为满足要求的高质数据。尤其是在建立数据仓库的过程中会从多个业务系统中年抽取而来的、甚至时间跨度较大的多个版本的数据,避免不了会出现大量的“脏数据”。

清洗分为两种,一种是由计算机遵循一定的规则对数据进行校验,自动对数据进行一致性检查和无效值、缺失值的处理,还有一类就是需要筛选过滤掉那些不符合要求的数据,因为这一部分可能会影响分析结果的准确性,需要人工依据数据和场景进行筛选过滤了。数据分析系统中所说的数据清洗大多是指第一种,后一种更倾向为成为ETL模块(DataFocus支持两种清洗方式)。

一般来说,数据清理是将数据精简以除去重复记录,并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是在数据导入过程中,通过一系列步骤“ 清理”数据,然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。


关于作者

问题动态

发布时间
2020-05-06 18:40
更新时间
2020-05-06 18:41
关注人数
2 人关注

相关问题

若数据表中存在多个月份的数据,可以通过公式设定同时生成多个月份的月报分析吗?
建成区数据集
精神病院设施数据
业务数据更新时系统中数据会自动更新吗?
我是使用导入excel的方式添加数据源的,我的excel可以更新吗?
在数据看板中,能否选择多个组件?怎么做?
使用datafocus对CEO有什么帮助?
系统设备管理有什么权限?
数据源更新会有提示吗?
已经导入到系统的数据表不能以excel的形式导出,那要鉴别别人导入系统的数据是否正确要怎么做?

推荐内容

数据表种的列信息可以包含哪些数据内容?
中间表的应用简单介绍。。。
对数值的小数点尽心配置要怎样操作?
在英文环境下,如何查看某个时间段之前的数据?
在英文环境下,如何查看昨天的数据情况?
数据清洗过程的具体步骤有哪些?
使用什么公式计算的是今年当前月比去年同一月份的增长比例?
在英文环境下,如何查看过去xx天的数据情况?
怎样对数值列以一定的分组间隔进行分组统计?
想问问大家对于BI工具的诉求最重要的是什么

站点公告

DataFocus V6产品升级发布会:大模型的杀手级应用,来了!
北京时间,2024年1月26日 - 在这个数据驱动的时代,高效、准确的数据分析工具对于企业决策的重要性不言而喻。作为中国领先的AI搜索式数据分析平台,DataFocus一直致力于为用户提供更智能、更敏捷的数据分析解决方案。今天,DataFocus在杭州隆重举办了V6产品升级发布会,向全球用户展示了其...

热门话题

系统配置

版本更新

散点图

地图

数据地图

热门专栏

数据分析模型探讨研究