# 检核任务
检核任务是根据需要对指定的主数据模型创建检核规则后,再创建检核任务统一执行检核规则,用于检核主数据模型中的业务数据。
访问路径【主数据管理门户】→ 【数据清洗】→【检核任务】进入检核任务页面。
# 新增检核任务
点击【新增】按钮,创建检核任务。
配置项说明:
配置项 | 描述 |
---|---|
检核任务名称 | 检核任务名称。 |
数据模型 | 选择需要检核的主数据模型。 |
执行频度 | 自动执行检核规则的时间频率,如果设置频度为once,则代表执行一次,需要手动执行触发。 |
是否启用 | 检核任务是否启用,如果启用,并设置好执行频度,则会按照频度自动执行。 |
数据源 | 问题数据的存储位置(检核任务执行完毕会生成检核结果,检核结果中是检核生成的问题数据),数据源信息可以在公共资源处配置,然后在这里选择。 |
数据库 | 问题数据存储的位置(数据源下具体的数据库) |
告警规则 | 当检核结果问题数据满足告警规则时,触发告警通知功能 |
通知方式 | 邮箱,微信,钉钉三种方式 |
# 批量删除&启用&停用检核任务
- 批量删除:勾选左侧多选框,选择删除进行批量删除
- 批量启用:勾选左侧多选框,选择启用,对多个检核任务进行批量启用生效
- 批量停用:勾选左侧多选框,选择停用,对多个检核任务进行批量停用挂起
# 编辑检核任务
编辑检核任务,修改保存所需配置项
# 执行检核任务
立即执行检核任务(需要先配置检核规则)
# 搜索检核任务
根据检核任务名和检核表名搜索检核任务
# 规则配置
在选中的检核任务下配置检核规则
检核规则类型说明
数据检核支持的检核规则类型如下:
规则类型 | 说明 |
---|---|
空值检查 | 检查目标字段的值是否为空,可以多个字段联合检查。 |
值域检查 | 检查目标字段的值是否在指定的取值范围内。 |
规范检查 | 检查目标字段的值是否符合指定的规范格式。 |
重复数据检查 | 检查目标字段的值是否存在重复的值,可以支持单个或多个字段。 |
及时性检查 | 检查数据的及时性,需要指定日期时间类型的字段,并设置误差时间,误差时间单位支持天、小时、分钟。 |
##新增检核规则
配置项 | 描述 |
---|---|
检核规则名称 | 检核规则名称。 |
规则类型 | 规则类型:空值检查、值域检查、规范检查、重复数据检查、及时性检查。 |
字段 | 选择需要进行规则检核的字段。 |
检核规则条件 | 根据不同类型的规则,会提供不同种类的检核规则条件。 |
错误信息 | 检核生成问题数据时附带的错误信息。 |
空值类型检核规则示例:
表示检核字段name为空的问题数据
值域类型检核规则示例:
表示检核字段num不在值域{1,3}范围内的问题数据
规范类型检核规则示例:
表示检核字段name不满足正则表达式[1]的问题数据
重复数据类型检核规则示例:
表示检核字段name存在重复的问题数据
及时性类型检核规则示例:
表示检核字段datetime在检查时间+误差时间(1天)以后的问题数据
# 编辑检核规则
编辑检核规则信息
# 删除检核规则
删除&批量删除检核规则
# 告警配置
注意:
新增检核任务时如果需要配置告警规则。告警规则在【数据质量】→ 【质量告警】→ 【告警配置】中进行配置:
# 新增告警信息
点击新增配置告警信息
配置项说明:
配置项 | 描述 |
---|---|
告警名称 | 告警配置名称。 |
阈值类型 | 告警判断时使用的阈值类型,有数值和百分比两种类型。 |
阈值关系 | 告警判断时进行判断的关系,有小于、小于等于、等于、大于、大于等于五种类型。 |
阈值 | 告警判断时的阈值。 |
告警级别 | 告警等级,有一般、中等、严重,三种级别。 |
告警描述 | 告警时的文字信息描述 |
生效开关 | 当选择生效时,告警功能才正常启用 |
# 批量删除&生效&挂起告警配置
- 批量删除:勾选左侧多选框,选择删除进行批量删除
- 批量生效:勾选左侧多选框,选择生效,对多个告警配置进行批量启用生效
- 批量挂起:勾选左侧多选框,选择挂起,对多个告警配置进行批量停用挂起
# 告警配置详情
查看告警配置详细信息
# 修改告警配置
修改告警配置