明细粒度事实层（DWD）
在您建设明细事实表时，需要选择基于现有的表进行明细层数据的开发，清楚所建表记录存储的是什么粒度的数据。明细粒度事实层（DWD）规范 通常您需要遵照的命名规范为：dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
DELETE（2.0版）
一般表记录数超过10万行，建议通过删表重建方式替代删除全表数据；DELETE暂时不支持带表的别名；DELETE WHERE条件中暂时不支持子查询和函数；二级分区表的DELETE语句必须包含二级分区条件。删除TRADE表2月份的数据（biz_date为二级分区列）...
用户标签表数据要求
用户标签表记录用户的一系列维度特征。MaxCompute大宽表示例：字段要求：字段分类 标签类型 说明 用户ID 文本型、数值型 用户ID可用于营销、推送等。user_id是表的主键，必选字段，称为用户标识。其他用户ID请根据业务需要设置。ID类型支持...
订单汇总表数据要求
订单汇总表记录将近N天内的订单数据按用户粒度进行汇总而成的数据。MaxCompute大宽表示例：字段要求：字段分类 字段类型 说明 用户ID 文本型 用户ID可用于营销、推送等。user_id是表的主键，必选字段。其他用户ID请根据业务需要设置。ID...
MySQL分库分表同步至Hologres（方案2.0）
则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的主键在Hologres里构成了唯一键，保障了某条物理表记录在Hologres逻辑表里...
元数据仓库共享模型（MaxCompute）
新增告警推送记录表fct_dataphin_monitor_alert_notification_di。新增质量监控对象告警配置表dim_dataphin_dp_quality_watch_alert。安全识别记录表dim_dataphin_security_label新增record_from、field_from字段。v3.13 新增运维监控配置...
元数据仓库共享模型（Hadoop）
新增告警推送记录表fct_dataphin_monitor_alert_notification_di。新增质量监控对象告警配置表dim_dataphin_dp_quality_watch_alert。安全识别记录表dim_dataphin_security_label新增record_from、field_from字段。v3.13 新增运维监控配置...
使用ETL分析实时订单
将鼠标指针移动至已完成配置的 表记录过滤-1 上，单击圆点拉出连接线，连接 表记录过滤-1 和 输出 MySQL-1。单击画布区域的 输出 MySQL-1 页面，根据页面信息配置目标库信息。设置以下参数，配置节点信息。参数 说明 请输入数据源名称 DTS...
DescribeTableStatistics-查询表统计信息
计算公式 1：总数据量=热数据量+冷数据量，计算公式 2：总数据量=表记录数据量+普通索引数据量+主键索引数据量+其他。1577 HotDataSize long 热数据量，单位：Byte。1048576 OtherSize long 其他，单位：Byte。1048576 示例 正常返回示例 ...
使用OPTIMIZE和Z-ORDER优化商品库存查询性能
INSERT 或 UPDATE parquet文件的七个步骤 在使用Databricks Delta之前，我们先来看下，在通常情况下如何插入或更新表记录。确定需要插入的新记录。确定将会被替换的记录（例如，更新updated）。确定不会被INSERT或UPDATE操作影响的记录。...
手工表概述
应用场景 记录并管理数据：可以通过手工表记录和管理数据。例如，业务人员在客户维表中手动更新客户状态，供下游任务使用。同时数据开发、运维人员可以使用手工表快速更新数据，提高各类业务的生产效率。手工表开发页面概述 手工表开发页面...
手工表概述
应用场景 记录并管理数据：可以通过手工表记录和管理数据。例如，业务人员在客户维表中手动更新客户状态，供下游任务使用。同时数据开发、运维人员可以使用手工表快速更新数据，提高各类业务的生产效率。手工表开发页面概述 手工表开发页面...
数据建模
多表记录数波动率 源表对应分区的表行数，同目标表的表行数进行比较，计算波动率。再与期望阈值进行比较，只要符合规则则通过。波动率计算公式=【（源表当前分区的表行数-对比指定分区的表行数）/源表当前分区的表行数】*100%。比较方式...
MySQL分库分表同步至Hologres（方案1.0）
则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的主键在Hologres里构成了唯一键，保障了某条物理表记录在Hologres逻辑表里...
数据问答干预
示例：假设：表格数据：业务中有两个地区单位的地址和上班时间的信息，每个地区的有关信息都需要单独用一张表记录。表1：西湖区民政局上班时间 行政名称 上班时间 地址 民政局 上午：9:00~12:00 下午：13:00~17:00 西湖区122号 环境局 上午...
统计表
统计表记录用户执行相关操作的统计数据。基于统计表数据，可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计表，数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在本空间的 ID类型列表中。若用户ID字段已...
统计表数据要求
统计表记录用户执行相关操作的统计数据。MaxCompute大宽表示例：字段要求：字段分类 字段类型 说明 用户ID 文本型、数值型 用户ID可用于营销、推送等，请根据业务需要设置至少一个用户ID。ID类型支持使用 ID类型管理 中所有已启用的ID类型...
单元测试报告
指标特性检查 细分指标趋势检查 例如会员拉链表记录数相比前一天必须是正增长、当日累计值-上日累计值必须大于0。不同粒度数据转换正确性 例如细粒度向粗粒度汇总，通常使用最大/最高/最小/最低等过滤条件，如：支用层逾期天数转换到客户层...
用户行为表数据要求
用户行为表记录用户的登录、浏览、加购、收藏、购买等行为。MaxCompute大宽表示例：字段要求：字段分类 字段类型 说明 用户ID 文本型、数值型 用户ID可用于营销、推送等，请根据业务需要设置至少一个用户ID。ID类型支持使用 ID类型管理 中...
订单明细表数据要求
订单明细表记录订单的状态、商品、金额等相关信息。MaxCompute大宽表示例：字段要求：字段分类 字段类型 说明 用户ID 文本型 用户ID可用于营销、推送等，请根据业务需要设置至少一个用户ID。ID类型支持使用 ID类型管理 中所有已启用的ID...
蚂蚁隐私计算服务平台的审计事件
ListAntppcMonitorFeatures 查询打分表记录。ListAntppcMonitorModels 获取MPC全量可监控模型。ListAntppcMonitorScores 查询打分表记录。ListAntppcMonitorTasks 获取服务监控列表。ListAntppcMpcColumns 查询数据融合单表列信息。...
获取通知发送的历史记录列表
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
用户行为
用户行为表记录用户的浏览、加购、收藏、购买等行为。基于用户行为数据，可以进行 人群筛选，还可以生成 AIPL模型、偏好类标签 等自定义标签，AIPL模型可用于 AIPL用户分析、AIPL流转分析、人群筛选 等。前提条件 已在您配置的 计算源 中...
配置流程
字段计算器 和 表记录过滤：仅支持单个表结构。配置流程 您可以选择需要的源库（支持多个源库），转换组件和需要写入的目标库即可实现ETL处理。创建ETL任务具体如下：任务 说明 参考文档 配置源库信息 您可以选择 输入/维表 节点的一个或多...
创建索引
索引字段可以是由表记录中一列或者多列表字段值计算出来的一个表达式。您可以使用这种特性来快速访问基于基础数据转换后的数据。例如，由 UPPER(col)计算得出的索引值允许子句 WHERE UPPER(col)='JIM' 使用索引。PolarDB提供B-树结构的索引...
并行查询Hint语法
当表记录数小于records_threshold_for_parallelism设置的行数（默认10000行）时，会强制并行，-并行度用系统默认max_parallel_degree，如果max_parallel_degree>0,-则打开并行，如果max_parallel_degree等于0时，依旧时关闭并行。...
自定义Join（UDJ）
对于右表的每个记录，找到最近的左表记录*合并两条记录。Resolve("->string,bigint,string")public class PayUserLogMergeJoin extends UDJ { private Record outputRecord;将在数据处理阶段之前调用。用户可以实施这个方法做初始化工作。...
用户标签
用户标签表记录用户的一系列特征属性。通过为字段配置标签别名的方式给用户打标签，在使用标签时，实质上是在使用对应的字段。基于用户标签数据，可以形成 用户画像，可以进行 透视分析、人群筛选 等。导入完成后，用户标签表中的标签将...
数据问答最佳实践
星型结构：将数据分为事实表和维度表（数量>3张）两部分，事实表记录了数据的度量值，维度表则记录度量值的维度信息。不支持的问答能力：复杂的多列查询且很难使用一条查询语句获取数据的。如：参与航天日直播活动中奖的有几个人，分别是谁...
基于MaxCompute实现拉链表
本案例将使用拉链表记录电商订单从开始到当前状态（创建/支付/完成）的所有变化信息，拉链表的加载逻辑详情请参见：拉链表数据加载逻辑。任务开发：准备工作 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 ...
数据查询最佳实践
索引失效 索引失效时，SQL语句直接以扫描的方式进行查询，如果表记录数非常大，会导致查询缓慢。以下情形容易引起索引失效：函数转换（列）。类型转换。like条件，例如：like '%abc%'。SQL示例：以下SQL中的函数转换导致索引失效。time为...
2.0版SQL开发规范
索引失效 索引失效时，SQL语句直接以扫描的方式进行查询，如果表记录数非常大，会导致查询缓慢。以下情形容易引起索引失效：•函数转换（列）；类型转换；like条件，例如：like '%abc%'。以下SQL中的函数转换导致索引失效。time为timestamp...
设置逻辑表质量规则
表行数 存储大小 主键唯一 多表记录波动率 数据唯一率 数据完整率 高级选项 说明 目前仅MaxCompute、Hive、AnalyticDB PostgreSQL资源类型的部分规则显示高级选项。仅用OpenAPI向上层应用提供更精细化的结果数据，不影响数据开发质量节点及...
设置逻辑表质量规则
表行数 存储大小 主键唯一 多表记录波动率 数据唯一率 数据完整率 高级选项 说明 目前仅MaxCompute、Hive、AnalyticDB PostgreSQL资源类型的部分规则显示高级选项。仅用OpenAPI向上层应用提供更精细化的结果数据，不影响数据开发质量节点及...
明细圈人函数
如下为一张记录用户购物行为的明细表，该表记录了用户的uid以及购物路径的行为，同时对该表插入部分数据。create table ods_app_dwd(event_time timestamptz,uid bigint,action text,page text,product_code text,from_days int);insert ...
ANALYZE
ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。简介 ANALYZE 收集一个数据库中的表的内容的统计...如果被分析的表不完全为空，ANALYZE 将不会为该表记录新统计信息。任何现有统计信息将会被保留。
基本概念（V4）
标签 标签分为以下几类：导入的标签：用户标签表 记录用户的一系列维度特征。导入Quick Audience时，通过为字段配置标签别名的方式给用户打标签，后续使用标签时，实质上是在使用对应的字段。自定义标签：基于已导入的各类数据，自行定义...
KV2Table
在该组件中可以输入用户定义的key_map表，是列名和Key的映射，但无论是否输入key_map表，该组件都会输出key_map表记录转化后的列名和Key的映射。例如1:10，2:20和3:30。key_map表格式定义：包含列名和index的映射以及类型信息的 col_name，...
从RDS原生实时同步
在对应表记录左侧操作列中，单击 修改表结构 进入如下页面：上方的 RDS Table DDL 为源表的DDL，不可编辑；下方的 HDB Table DDL 为HybridDB for MySQL表的DDL，可编辑。完成编辑后，单击 保存修改 返回原页面。如果是多张分库分表同步到...
运行失败
Tunnel Exception：Proxima CE内部读表时会通过Tunnel获取表记录，因此Tunnel失败也会导致读表失败，Tunnel错误可以参考 MaxCompute Tunnel Endpoint问题。运行聚类分片时，遇到Timeout问题 报错信息 FAILED:ODPS-0010000:System internal ...
- 产品推荐
- 这些文档可能帮助您