单元测试报告
单元测试要求 用例小类 测试要点 说明 是否已检查（Y/N）规范性 命名规范检查（表、视图、工作流、字段）是否符合 MaxCompute数仓建设规范管理指南 中命名规范的表命名规范。代码格式和注释规范性 是否符合 MaxCompute数仓建设规范管理指南...
表操作篇
选择将 DeviceID、SellerID 和 CardID 拼接成分区键，而不选择将 DeviceID 和 SellerID 进行拼接的原因是，前一节提到的消费记录表约定所有 DeviceID 相同的消费记录其 SellerID 也相同，因此仅仅拼接 DeviceID 和 SellerID 并不能解决单个...
表管理
表管理 进入HoloWeb开发页面，详情请参见 连接HoloWeb。在HoloWeb开发页面的顶部菜单栏，单击 诊断与优化。在 诊断与优化 页面，单击左侧导航栏的 表管理。在 表管理 页面，配置如下筛选信息。参数 是否必选 说明 实例名 是 需要进行表管理...
系统表
kepler_partitions 用于记录表的分区信息，用法详情请参见 查看分区的统计信息。字段说明：字段 说明 schema_name 数据库名称。table_name 表名。partition_id 分区ID。row_count 记录行数。data_size 总大小。单位：Byte。index_size 索引...
子表查询
描述 Ha3的子表生成是会注册为一个复合字段（可以理解为Struct）。...如果WHERE语句中不带有子表字段的条件，则查询结果的主表记录和子表记录join方式默认为LEFT_JOIN，可通过hint修改，具体见 Hint 配置主子表的场景下，支持单独查询主表。
FMT 模式参与者
分支事务记录表：CREATE TABLE `dtx_branch_info`(`action_id` varchar(128)NOT NULL COMMENT '分支事务号',`tx_id` varchar(128)NOT NULL COMMENT '主事务号',`status` varchar(4)COMMENT '事务状态',`log_info` blob DEFAULT NULL ...
多表join引发的数据同步延迟
合并成为一张宽表，所有更新操作均在宽表里进行 当更新主键记录时，由于主表的主键是唯一的，主表更新一条记录，对应宽表更新一条记录 当更新辅表记录时，由于辅表对应的主键，在主表中可以join上多条记录（即N：1，N的值），则辅表 更新一...
运行失败
一般在build阶段失败需要检查doc表是否存在上述问题，在seek阶段失败需要检查query表是否存在上述问题，build/seek阶段区分如下：build阶段是由 Mapper-Reducer构成的MR任务，通常在日志里如上述error example2的输出。seek阶段是由 Mapper...
pg_class
目录 pg_class 记录表和几乎所有具有列或者像表的东西。这包括索引（但还要参见 pg_index）、序列（但还要参见 pg_sequence）、视图、物化视图、组合类型和 TOAST 表，参见 relkind。下面，当我们提及所有这些类型的对象时我们使用“关系”...
存储空间分析
表记录 表所有分区的数据量（不包含 普通索引 和 主键索引）。普通索引 表所有分区的普通索引数据量。主键索引 表所有分区的主键索引的数据量。其他 表所有分区的元数据和临时数据。表行数 表的行数。分区数 表的分区数。相关API API接口 ...
GIN和GiST索引类型
有损性导致的性能下降归因于不必要的表记录（即被证实为假匹配的记录）获取。因为表记录的随机访问是较慢的，这限制了 GiST 索引的可用性。假匹配的可能性取决于几个因素，特别是唯一词的数量，因此推荐使用词典来缩减这个数量。注意 GIN ...
创建索引
语法 CREATE[UNIQUE]INDEX name ON table({ column|(expression)})[TABLESPACE tablespace]参数 参数名称 描述 UNIQUE 当创建索引（如果数据已经存在）和每一次添加数据的时候，这个参数会让系统去检查表中的重复值。如果进行的插入或更新...
创建多表join
辅表个数不超过10个 支持 表A（主表）、表B、表C、表D 表A（主表）->表B->表C->表D 超过2层多表数据关联 不支持（独享型可支持3层）表A（主表）、表B 表A->表B，表B->表A 环状多表数据关联 不支持 表A（主表）、表B、表C…表K 表A（主表）-...
数据导入概述
Quick Audience接入数据源后，您就可以将要导入的数据表存储在计算源，然后在Quick Audience声明数据表的表结构，执行调度任务，将表中的数据导入到Quick Audience，准备用于后续的分析、应用。数据导入流程 进行 ID类型管理，设置Quick ...
清理表空间（pg_repack）
RDS PostgreSQL支持通过插件pg_repack在线清理表空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pg_repack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。前提条件 请确保实例大版本满足要求，本插件具体支持的实例大版本...
配置转换组件
背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表记录过滤：仅支持单个表结构。前提条件 已完成数据源信息的配置。配置表...
明细粒度事实层（DWD）
在您建设明细事实表时，需要选择基于现有的表进行明细层数据的开发，清楚所建表记录存储的是什么粒度的数据。明细粒度事实层（DWD）规范 通常您需要遵照的命名规范为：dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
明细粒度事实层（DWD）
在您建设明细事实表时，需要选择基于现有的表进行明细层数据的开发，清楚所建表记录存储的是什么粒度的数据。明细粒度事实层（DWD）规范 通常您需要遵照的命名规范为：dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
触发器函数
一个用于审计的 PL/SQL 触发器函数 这个例子触发器保证了在 emp 表上的任何插入、更新或删除一行的动作都被记录（即审计）在 emp_audit 表中。当前时间和用户名会被记录到行中，还有在其上执行的操作类型。CREATE TABLE emp(empname text ...
使用ETL分析实时订单
说明 时态表，也称动态表，是指基于表的（参数化）视图概念，根据时间记录数据变更历史，分为版本表（可显示数据的历史版本）和普通表（仅显示数据的最新版本）。时态JOIN要求流表定义时间属性，右表要有主键；如右表是维表，则您所设置的 ...
用户标签表数据要求
本章节介绍对于导入Quick Audience的用户标签表的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute，Quick Audience使用的 分析源 类型为ADB3.0或Hologres，为了数据能在计算源和分析源之间正常流转，Quick Audience不支持...
订单汇总表数据要求
订单汇总表记录将近N天内的订单数据按用户粒度进行汇总而成的数据。MaxCompute大宽表示例：字段要求：字段分类 字段类型 说明 用户ID 文本型 用户ID可用于营销、推送等。user_id是表的主键，必选字段。其他用户ID请根据业务需要设置。ID...
MySQL分库分表同步至Hologres（方案2.0）
为目标表添加字段并赋值 当目标Hologres表为 待建立 状态时，您可以为目标表在原有表结构基础上新增字段，用于记录源端表数据来源。基于当前案例，为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中...
使用OPTIMIZE和Z-ORDER优化商品库存查询性能
查看当前Parquet表的数据%spark.sql-查看某个StockCode下的数据 SELECT*FROM current_inventory WHERE StockCode IN('21877','21876')步骤1：向Parquet表中插入记录%pyspark#创建2条记录，准备插入到表中并转换为DataFrame items=[('...
手工表概述
应用场景 记录并管理数据：可以通过手工表记录和管理数据。例如，业务人员在客户维表中手动更新客户状态，供下游任务使用。同时数据开发、运维人员可以使用手工表快速更新数据，提高各类业务的生产效率。手工表开发页面概述 手工表开发页面...
手工表概述
应用场景 记录并管理数据：可以通过手工表记录和管理数据。例如，业务人员在客户维表中手动更新客户状态，供下游任务使用。同时数据开发、运维人员可以使用手工表快速更新数据，提高各类业务的生产效率。手工表开发页面概述 手工表开发页面...
DescribeTableStatistics-查询表统计信息
查询目标AnalyticDB MySQL集群中的表信息统计详情。接口说明 说明 更多关于表信息统计的详情，请参见 监控信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
配置流程
字段计算器 和 表记录过滤：仅支持单个表结构。配置流程 您可以选择需要的源库（支持多个源库），转换组件和需要写入的目标库即可实现ETL处理。创建ETL任务具体如下：任务 说明 参考文档 配置源库信息 您可以选择 输入/维表 节点的一个或多...
数据建模
多表记录数波动率 源表对应分区的表行数，同目标表的表行数进行比较，计算波动率。再与期望阈值进行比较，只要符合规则则通过。波动率计算公式=【（源表当前分区的表行数-对比指定分区的表行数）/源表当前分区的表行数】*100%。比较方式...
MySQL分库分表同步至Hologres（方案1.0）
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
自定义Join（UDJ）
基于MaxCompute 2.0计算引擎，MaxCompute在UDF框架中引入了新的扩展机制UDJ（User Defined Join），来实现灵活的跨表、多表自定义操作，同时减少通过MapReduce等方式对分布式系统底层细节的操作。背景信息 MaxCompute内置了多种 Join 操作...
统计表
统计表记录用户执行相关操作的统计数据。基于统计表数据，可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计表，数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在本空间的 ID类型列表中。若用户ID字段已...
统计表数据要求
本章节介绍对于导入Quick Audience的统计表的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute，Quick Audience使用的 分析源 类型为ADB3.0或Hologres，为了数据能在计算源和分析源之间正常流转，Quick Audience不支持...
查看数据迁移项目的详情
如果您仅需要重新校验表中不一致的数据，请单击 再次校验>仅校验不一致的表记录。重要 如果源端为空，则不支持订正操作。在 全量校验性能 页签，您可以图形化查看 源端 RPS、目标端 RPS、源端迁移流量 和 目标端迁移流量，以及性能基准等...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
用户行为表数据要求
本章节介绍对于导入Quick Audience的用户行为表的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute，Quick Audience使用的 分析源 类型为ADB3.0或Hologres，为了数据能在计算源和分析源之间正常流转，Quick Audience不支持...
蚂蚁隐私计算服务平台的审计事件
操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，蚂蚁隐私计算服务平台支持在操作审计中查询的事件如下表所示。事件名称 事件含义 CheckAntppcOpenProductStatus 查询隐私计算平台开通情况。...
用户行为
用户行为表记录用户的浏览、加购、收藏、购买等行为。基于用户行为数据，可以进行 人群筛选，还可以生成 AIPL模型、偏好类标签 等自定义标签，AIPL模型可用于 AIPL用户分析、AIPL流转分析、人群筛选 等。前提条件 已在您配置的 计算源 中...
订单明细表数据要求
本章节介绍对于导入Quick Audience的订单明细表的数据要求。说明 由于您存储原始数据的 计算源 类型为MaxCompute，Quick Audience使用的 分析源 类型为ADB3.0或Hologres，为了数据能在计算源和分析源之间正常流转，Quick Audience不支持...
- 产品推荐
- 这些文档可能帮助您