统计表
配置统计表结构，用于导入统计表数据。统计表记录用户执行相关操作的统计数据。基于统计表数据，可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计表，数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在...
一键实时同步至DataHub
背景信息 方案属性 说明 可同步的表个数 支持将源端多表数据写入至目标端多个Topic。支持通过目标Topic配置规则实现源端多表数据写入至目标端单Topic。任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时...
一键实时同步至MaxCompute
方案属性 说明 可同步的表个数 支持将源端多表数据写入至目标端多表。支持通过目标表配置规则实现源端多表数据写入至目标端单表。任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时...
一键实时同步至MaxCompute
方案属性 说明 可同步的表个数 支持将源端多表数据写入至目标端多表。支持通过目标表配置规则实现源端多表数据写入至目标端单表。任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时...
一键实时同步至Hologres
背景信息 方案属性 说明 读写表个数 支持将源端多表数据写入至目标端多表。支持通过自定义目标schema名与表名的方式实现源端多表数据写入至目标端单表。说明 分库分表同步可采用该方案。分库分表配置可参考最佳实践：MySQL分库分表同步至...
全增量实时同步至Hologres
支持通过自定义目标schema名与表名的方式实现源端多表数据写入至目标端单表。说明 分库分表同步可采用该方案。任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生...
查看异常统计
单击 下载CSV，下载更多统计数据，以便进一步分析数据异常原因。报警排行 在 报警排行 区域，可以查看运行超时报警排行。排名靠前的任务，需要评估监控配置是否合理（例如，是否需要修改设置的超时阈值）、评估任务配置是否需要优化。同时...
查看异常统计
单击 下载CSV，下载更多统计数据，以便进一步分析数据异常原因。报警排行 在 报警排行 区域，可以查看运行超时报警排行。排名靠前的任务，需要评估监控配置是否合理（例如，是否需要修改设置的超时阈值）、评估任务配置是否需要优化。同时...
离线同步能力说明
离线同步模块仅支持单表或分库分表数据离线同步至目标端单表，若您需要将多库多表数据同步至目标端多表，您可使用 同步解决方案 中的整库离线同步。更多关于同步方案选择，请参见：选择同步方案概述。离线同步任务配置 您可以通过以下方式...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
创建逻辑模型：汇总表
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。前提条件 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层...
多表连接
主表 多表连接算子中的 主表 是输入节点中的其中一个节点，主表的作用主要是提供连接的字段与其它节点进行连接操作。系统默认指定第一个输入节点为主表，用户可以自由将其它节点设置为主表。重要 如果已经配置了连接条件，重新设置主表将会...
如何统计表行数
执行结果如下：+-+|EXPR$0|+-+|16000|+-+重要 统计行数需要扫描全表，请慎重操作，如果数据量超过百万，建议使用搜索索引加速：通过搜索索引查询宽表数据 通过集群管理系统粗略查看表行数 已进入Lindorm集群管理系统，具体操作请参见 登录...
DataStudio侧实时同步任务配置
说明 单表实时同步仅支持同步数据至目标单表，如果您需要同步数据至多个表，您可以采用以下方案：如果您需要对同步过程中的数据进行过滤、字符串替换或数据脱敏，您可以创建多个单表数据实时同步任务。如果您需要同步多个表至多个表，除了...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
创建多物理表服务单元
后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目分组。当数据源类型为Hbase 0.9.4/1...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版...A：临时表数据最多会占用源库中已占用空间的一倍。
MySQL分库分表同步至Hologres（方案1.0）
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
数据集成侧同步任务配置
实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的库名或表名在写入目标库或表时更新为其他前缀。源表名和目标表名转换规则：源端表名支持通过正则表达式转换为目标端最终写入的表名。示例1：将源端doc_前缀的表数据，写入前缀...
使用DataWorks（离线与实时）
离线同步 实时同步 同步解决方案 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/整库全增量实时写-说明 离线导入场景中，每个离线同步节点仅支持将单张或多张表数据导入至...
数据集成侧同步任务能力说明
数据同步场景 全增量同步任务支持单表数据同步至目标端单表、分库分表数据同步至目标端单表、整库（多表）数据同步至目标端多表。DataWorks为您提供多种类型的全增量同步任务。包括整库离线同步（一次性全量同步、周期性全量同步、离线全...
整库离线同步至MaxCompute
您可以通过该功能实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。配置逻辑请参见：数据集成侧同步任务配置。步骤四：设置目标表 时间自动分区设置。目前仅支持将源端数据写入MaxCompute...
整库离线同步至MaxCompute
您可以通过该功能实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。配置逻辑请参见：数据集成侧同步任务配置。步骤四：设置目标表 时间自动分区设置。目前仅支持将源端数据写入MaxCompute...
配置并管理实时同步任务
同步时默认将源端数据表写入DataHub同名Topic中，同时，您可以通过添加映射规则定义最终写入目的端的Topic名称，实现将多张表数据写入到同一个Topic中，或统一将源端某固定前缀的表名在写入目标Topic时更新为其他前缀。支持通过正则表达式...
配置并管理实时同步任务
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
配置并管理实时同步任务
您可以通过该功能实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。配置逻辑请参见：设置来源和同步规则。设置目标表。在 设置目标表 页面，选择 目标 AnalyticDB for MySQL 3.0数据源。确认...
配置并管理实时同步任务
您可以通过该功能实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。配置逻辑请参见：设置来源和同步规则。设置目标表。选择目标 MaxCompute（ODPS）数据源 和 写入模式。时间自动分区设置。...
一键实时同步至AnalyticDB for MySQL 3.0
您可以通过该功能实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。配置逻辑请参见：数据集成侧同步任务配置。步骤四：设置目标表 确认 写入模式。写入模式 目前仅支持 重放，即源端INSERT一...
我的数据
若有多张数据表需要转交，可使用 批量转交 操作。选择需要转交的表，单击 批量转交。在 批量转交 对话框中，选择要转交的目标用户，并单击 确认。说明 请确认目标用户已在表格所属工作空间内，以确保转交过程能够顺利进行。若目标用户未在...
加速服务
数据源类型 当前仅支持加速MaxCompute（ODPS）数据源。数据表名称 选择要加速的MaxCompute数据源名称和数据表名称。说明 如果您有多张待加速的表，可单击下方的添加数据表，继续添加其他待加速的表，一键生成多个加速项。每次可添加不超过...
管理预置指标表
开启和关闭预置指标表统计数据 开启指定预置指标表的数据统计 在 预置指标 页签，单击目标预置指标对应 操作 列的 启用指标。在弹出的对话框，单击 确认开启。重要 若当前实例的CU规格不足，弹出对话框会提示您升配实例规格。您需根据页面...
CDM接口数据层设计规范
说明 如果出现 nd 的表字段过多，需要拆分时，只允许以一个统计周期单元作为原子拆分，即一个统计周期拆分一个表，例如最近7天（1week）拆分一个表，不允许拆分出一个表存储多个统计周期。如果一个汇总表出现混合多个数据域时，表名称中...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
性能调优
如果表和列较多，如超1000列，并且统计信息更新时间在一周内，统计信息多天未更新属于正常现象，继续观察使用即可。新建的表导入数据会自动更新统计信息吗？通过 INSERT OVERWRITE 批量导入方式，数据导入完成后会立即自动收集基础统计信息...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
查看表统计信息
Hologres从V1.3版本开始提供表统计信息日志系统表（hologres.hg_table_info）按天收集实例内表的统计信息，帮助您对实例中的表信息进行查看、分析，以便您可以根据这些信息采取优化措施。本文将会介绍如何通过可视化的方式查看表统计信息。...
概览信息
对数据资产的全局及增量数据进行统计和展示。本文介绍如何查看及搜索数据资产。前提条件 已在运营模块中公开数据表、API和指标等数据资产。背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量...
概览信息
对数据资产的全局及增量数据进行统计和展示。本文介绍如何查看及搜索数据资产。前提条件 已在运营模块中公开数据表、API和指标等数据资产。背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量...
配置PolarDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图...
- 产品推荐
- 这些文档可能帮助您