2
关注
6101
浏览

什么是数据清洗呢?

您还未登录!暂时最多只可查看 1 条回答

登录! 还没有账号?去注册

luffy01 注册会员 用户来自于: 浙江省杭州市
2020-05-06 18:41

既然说到清洗,那么对应着就有需要进行清洗的“脏”,数据清洗就是对数据进行审查校验,利用有关技术转化错误、重复、不完整、冲突的“脏数据”为满足要求的高质数据。尤其是在建立数据仓库的过程中会从多个业务系统中年抽取而来的、甚至时间跨度较大的多个版本的数据,避免不了会出现大量的“脏数据”。

清洗分为两种,一种是由计算机遵循一定的规则对数据进行校验,自动对数据进行一致性检查和无效值、缺失值的处理,还有一类就是需要筛选过滤掉那些不符合要求的数据,因为这一部分可能会影响分析结果的准确性,需要人工依据数据和场景进行筛选过滤了。数据分析系统中所说的数据清洗大多是指第一种,后一种更倾向为成为ETL模块(DataFocus支持两种清洗方式)。

一般来说,数据清理是将数据精简以除去重复记录,并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是在数据导入过程中,通过一系列步骤“ 清理”数据,然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。


关于作者

问题动态

发布时间
2020-05-06 18:40
更新时间
2020-05-06 18:41
关注人数
2 人关注

相关问题

数据源编辑
datafocus是BI产品吗?BI和报表工具有什么不一样?
什么情况下系统会显示列名歧义?
我的数据源是Excel上传的,如果要修改数据怎么办?使用了表中数据的历史问答会自动更新吗?
设置里面数据标签文本里面的宏是什么意思?
如何导入数据源?
谁可以创建标签?标签有什么作用?
想要实现一个饼图,需要满足什么数据条件?
影视播放和评价数据
世界地图能展示吗?为什么我的不行

推荐内容

使用什么关键词可以筛选查看数据列中不包含该字符串的数据?
可以在柱状图的柱子上显示数据吗?
在英文环境下,如何查看下周的数据预测情况?
使用什么公式可以计算出今年当前月比去年同一月份的增长数量?
在英文环境下,如何查看上个月的数据情况?
MINI版导入本地数据时可以覆盖吗?
datafocus可以对某几列进行处理,或者生成新的列吗?
在数值表界面对数据进行筛选的操作步骤?
我可以在搜索页面直接添加数据看板吗?
在英文环境下,如何反馈出数值列中的最大值?

热门话题

散点图

折线图

传统BI

数据仓库

数据地图

热门专栏

数据分析模型探讨研究

热门用户

camille

qqqq

小号圆

Dory

datafocusdf8ccc6b4f389bdacbb316