分布字段不合理判定规则 数据倾斜计算公式:去掉一个最大的shard(分片)大小,再计算平均shard大小。大于平均shard大小×threshold倍数的shard,或者小于shard分区/threshold的shard都属于倾斜的shard。threshold表示阈值,可以调整配置,...
数据质量为您提供数十种预设表级别、字段级别的监控模板。本文为您介绍如何按模板配置监控规则。...如果您需要在指定业务时间内,不符合质量校验规则的数据不阻塞任务运行,可以用去噪管理功能,详情请参见:配置数据质量规则去噪。
本文介绍了如何配置数据处理规则与路由规则。通过配置数据处理规则,您可以在设备数据进行上链之前,对数据进行预处理,以进行脱敏和保护。通过配置路由规则您可以在“产品”维度把某产品下的设备数据路由到区块链中,通过切换不同的路由...
若存在数据不唯一,系统生成的问题数据表会保留该字段的重复数据,即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。空值 空值个数,固定值。取该字段的空值数与固定值进行比较。说明 是否为...
本文将为您介绍如何在手动修正数据页面,对规则识别不准确的数据进行手动修正。说明 手动修正的数据结果,在第2天才会生效展示。背景信息 DataWorks支持您对数据识别规则识别不准确的敏感数据进行手动修正,手动修正数据的使用逻辑如下图所...
说明 数据质量规则中,分区表达式不支持使用大括号相关格式。例如,${yyyymmdd-1}。在数据表的 监控规则 页面,单击 分区表达式 后的+,添加分区表达式。您可以选择新建分区表达式,也可以选择推荐的分区表达式:新建分区的表达式 在 添加...
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则,帮助您识别组织内的敏感数据,对于识别结果不准确的数据,您可以 手动修正数据,并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...
本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费,并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单,您可以进入 费用中心 查看。下载计费规则如下。计费公式 价格 说明 一次下载...
例如,对于多租户的业务系统,每个租户产生的用户数据量不均衡,您可以把大数据量的租户按照LIST规则分区,然后中小数据量的租户按照HASH规则分成多个分区,如下:租户ID 数据量 分区 大客户1 3000万 p1 大客户2 2600万 p2 大客户3 2400万 ...
说明 数据质量规则中,分区表达式不支持使用大括号相关格式。例如,${yyyymmdd-1}。分区表达式 描述 dt=$[yyyymmdd]表示获取定时时间。dt=$[yyyymmdd-1]表示获取业务日期。dt=$[yyyymmddhh24miss]表示获取定时时间。精确到秒。dt=$...
资源费用明细:数据服务API调用 数据质量 数据质量可对任务产出的表数据进行数据质量监控,DataWorks将根据数据质量规则实例数量计费。资源费用明细:数据质量 OpenAPI DataWorks提供OpenAPI,您可基于OpenAPI实现业务定制化开发,...
有效映射关系是基于配置的落标映射规则自动生成或手动配置添加的数据标准和资产对象之间的映射关系,可用于描述资产对象应该遵循某个数据标准,或数据标准被某个资产对象关联遵循,是进行落标监控的前提条件。本文为您介绍如何查看、新增和...
对于单个shard在条数不能超过int的最大值,大概21亿的情况下,它的存储也尽量不能太大,例如一个shard保存了20亿,按照1KB一个doc,总数据量达到2TB左右,这对一个server来说可能会有点大了,对应如果大量扫描操作会出现异常,推荐扩容节点...
可选:若脱敏规则指定的数据不需要对某些用户进行脱敏展示,您可配置脱敏规则白名单。在 数据脱敏管理 界面,单击 白名单配置管理。在 白名单配置管理 页签,单击右上方的 新增白名单。在 新增白名单 对话框中,选择 规则、用户组 和 生效...
内置模板规则说明 内置模板分为表级和字段级的模板规则,支持您通过内置规则模板来快速为一批表批量创建数据质量规则。详情请参见:配置规则:按表(单表)、配置规则:按模板(批量)。表 1.表级规则 模板名称 描述 表行数,固定值。表行...
配置数据质量规则去噪 去噪管理功能支持对当前工作空间某一时间内,数据质量规则校验异常的数据不触发报警,且不阻塞任务运行。报告模板管理 报告模板管理页面支持您创建报告模板,添加规则配置和规则运行的各项指标,根据设置的统计周期、...
本文介绍数据建模的相关问题。逻辑表质量规则都支持哪些云计算资源?逻辑表质量规则都包含哪些?逻辑表数据质量的强规则和弱规则有什么区别?逻辑表质量规则都支持哪些云...弱规则:常规规则,如实际结果不满足规则,则该单项数据质量为一般。
MaxCompute会对存储的数据(例如表或资源)及备份的数据,按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右,因此多数情况下,您上传的数据文件大小与实际存储在MaxCompute的大小...
智能诊断数据倾斜功能在系统后台以库为维度进行诊断,但不包括系统库(postgres、template0、template1、adbpgadmin和aurora 5个系统库),建议您将业务数据放在新建库中,不要将数据放在上述5个系统库中,否则无法诊断数据。智能诊断数据...
备份类型 免费额度 数据备份 数据库存储用量×50%日志备份 100 GB 计费规则 中国内地 中国香港及海外 每小时费用计算方法 0.00021/GB/小时 0.000294/GB/小时 每小时费用=备份总大小×每小时价格 以中国内地价格为例:备份总大小为1000 GB,...
不依赖冷热数据存储规则。背景知识 热数据:访问频次较高的数据,存储在热数据盘(即创建集群时所选的ESSD云盘或高效云盘)中,满足高性能访问的需求。冷数据:访问频次较低的数据,存储在较低价的冷数据盘中,满足高性价比的存储需求。...
当任务触发质量规则校验时,您可以使用去噪管理功能,对当前工作空间内,数据质量规则校验异常的数据不触发报警,且不阻塞任务运行(任务不会因为数据质量校验不通过而失败退出)。前提条件 已创建数据质量校验规则,详情请参见 配置规则:...
计算公式:1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量,超出部分将正常按容量计费(按量付费)。具体的抵扣规则如下:地域类型 抵扣...
计算公式:1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量,超出部分将正常按容量计费(按量付费)。具体的抵扣规则如下:地域类型 抵扣...
类型 计费公式 价格(单个SQL作业计算费用)说明 开发者版SQL作业(指在绑定了按量付费开发者版的项目下提交的SQL作业)SQL作业当日总费用=计算输入数据量×单价 一般情况下,计费单价如下:公共云:0.15元/GB 金融云:不涉及。按量付费...
数据安全中心DSC(Data Security Center)支持从数据合规和业务需求等多角度对数据价值、属性、敏感性进行分类分级,以便企业针对不同数据进行更标准更细粒度的保护和风险调控。数据管理DMS(Data Management)是覆盖数据全生命周期的一站...
即先按照各个谓词的选择率排序,之后按照如下公式计算选择率:该算法在基于现实数据的大部分数据集中能有效地减少估计误差。优化效果评估 在TPCH 1 TB数据集上测试开启/关闭IMCI查询优化的性能。如下图所示:由上图可以看出,对于Q8和Q9的...
本页面为您介绍云数据库 OceanBase 的计费项、定价公式及退费说明。云数据库 OceanBase 实例产生的费用与实例所在的地域、部署方案、节点规格、使用时长、数据盘和日志盘的存储空间及存储时长有关。部署方案 云数据库 OceanBase 支持多机房...
说明 天计量范围以当天的结束时间为准,所以最后一条数据不包括在4月4日账单中。按照 存储费用计费规则 先计算24小时存储平均值,再根据计费公式进行计算。计算存储平均值。333507833900 Byte×15/1024/1024/1024/24=194.127109076362103 ...
DataWorks支持将您提供的样本文件生成样本库,后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时,则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据,例如,员工姓名、用户地址...
存储包规则 当您需要的数据量较大(如1000 GB或以上)时,相比未使用存储包(即正常按量付费),预付费 购买存储包 能够享受一定的折扣优惠,且购买的存储包容量越大,折扣越多。存储包价格 下表为按月计费存储包和按量付费的价格对比。...
如果匹配规则和源端对象名称的大小写不一致,则无法匹配出数据库对象。配置迁移对象规则和排除对象规则后,当源端创建一张新表时,只要其表名匹配迁移对象规则且不匹配排除对象规则,即可被数据传输实时同步。字符"*"字符"*"可以匹配任意...
重要 目前 全球加速 仅收取处理数据量CU个数的费用,新建连接数CU个数、并发连接数CU个数、规则评估数CU个数的费用暂不收取。CU单价 某小时内 全球加速 实例的各指标换算CU后,按照实际使用量计算该小时CU消耗,最小精度为0.000001 CU。...
计算公式如下:LCU个数=总处理数据量÷LCU系数 规则评估数 指 ALB 处理的规则总数与每秒请求数(QPS)的乘积。当处理的规则数量均未超过免费额度时:规则评估数=QPS 当处理的规则数量超过免费额度时:规则评估数=QPS×(超出部分转发规则数+...
本文介绍 云原生数据仓库AnalyticDB PostgreSQL版 的计费项与计费规则。注意事项 本文提到的价格仅用作示例,无法作为价格参考。实际价格请以控制台为准。Master CU 重要 公测期间,Master CU暂不进行收费。计费方式 计费公式 示例 按量...
需要的存储总量是N,那么您的业务需要的shard和mongos数量按照以下公式计算:numberOfShards=N/M/0.75(假设容量水位线为75%)numberOfMongos=2+(对访问要求不高,至少部署2个mongos做高可用)分片集群用于解决高并发写入(或读取)数据的...
备份类型 免费额度 数据备份 一级备份 数据库存储用量×50%如何查看数据库存储用量,请参见 查看数据库存储用量。二级备份 无 日志备份 100 GB 说明 当前 PolarDB 企业版集群版支持 开启存储压缩功能。开启存储压缩功能后,集群的一级备份...
本文主要介绍通过简单规则来评估一般业务场景下EMR Kafka集群所需硬件资源。实际业务场景中,您可以通过这些规则评估出资源规模后,再结合负载测试来确定最终的集群规格。集群创建后,您也可以根据实际资源使用率通过集群扩容功能来变更...
您可通过配置 云消息队列 MQTT 版 的数据流出规则来自定义数据从 云消息队列 MQTT 版 流出至其他阿里云产品。本文介绍数据流出的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云产品的资源映射关系。基本原理 如需将 云消息...