创建逻辑模型：维度表
您可以通过 快捷模式 或 代码模式 为表添加字段，其中 快捷模式 支持 从表/视图导入，即从计算引擎已存在的物理表或视图导入字段，即在 查找已有表/视图 下拉列表搜索并选择已存在的物理表或视图进行字段导入。说明 当前仅支持从MaxCompute...
生命周期管理
注意事项 使用生命周期管理功能，必须禁用数据表的UpdateRow更新写入功能，避免一些语义上的问题：由于数据表TTL是属性列级别生效的，而多元索引TTL是整行生效的，如果存在UpdateRow写入操作，当系统清理数据表中数据时，数据表中部分字段...
管理问题数据
问题数据保留时长：问题数据默认保留15天，即该问题数据表生命周期为15天，若满足MaxCompute表的生命周期回收策略，问题数据将会删除。关于MaxCompute表生命周期定义详情请参见 生命周期。问题数据表分区结构：分区级别 分区字段名 描述 ...
通过控制台使用时序模型
数据生命周期 时序表中数据的过期时间，单位为秒。当系统判断当前时间减去用户传入数据列的时间已经超过设置的数据生命周期时，系统会自动清理超过数据生命周期的数据。重要 在时序表中，系统判断数据产生时间以用户传入的时间列为准，并非...
整库离线同步至MaxCompute
编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。...
整库离线同步至MaxCompute
编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。...
两表关联分析
一、两表关联分析 选择任务类型：两表关联分析。关联左表：选择相应的待关联的数据表，左表一般为行为表。左表分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。左表分析字段：选择需要...
场景：节点成环
如下图案例，如果下游表要对上游表上周期数据进行清洗，则设置下跨周期，A节点应该跨周期依赖C节点。成环节点的监控报警 为保障周期任务可以正常产生周期实例并且自动调度运行，DataWorks内置了报警规则来对周期任务进行定期监控扫描，如有...
通过任务编排实现跨库数据同步
某管理者希望能在购物平台上按商品类别查看...具体配置，请参见 调度周期配置表。发布任务流。任务流发布后，此任务流会根据设置的调度周期自动执行任务。单击画布左上角的 发布。在 发布 对话框中输入 备注 信息，并单击 确认，发布任务流。
库表
本文介绍 AnalyticDB MySQL 中库表优化的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何合理建表？表个数的上限是多少？创建表后为什么看不到分区...
用户偏好统计周期分析
一、用户偏好统计周期分析 选择任务类型：用户偏好统计周期分析，选择相应的行为数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。用户ID字段：选择能唯一区分...
通过跨库Spark SQL任务将数据同步到OSS
电商管理者希望能够按商品类别统计并查看前一天的订单数量和金额，本文通过在任务编排中创建跨库Spark任务，实现定期将在线库中的订单表和商品表同步到OSS中进行数据分析，管理者可以在OSS中查看分析结果。前提条件 准备一个MySQL数据库...
通过控制台使用宽表模型
通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作。前提条件 已获取用于操作表格存储的阿里云账号或者RAM用户的登录信息。如果未注册...
时间窗口SQL脚本
如果您在SQL语句中自行创建了数据表，请按需设置临时表的生命周期，详情请参见 管理工作空间。可视化配置组件参数 Designer 仅支持通过可视化方式，配置该组件参数，参数详情如下表所示。参数 描述 业务基准日期 支持以下两种配置方式：...
物品或用户变化率分析
一、物品或用户变化率分析 选择任务类型：物品或用户变化率分析，选择相应的物品数据表或是用户数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。分析字段：需...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型...
MySQL整库周期性增全量同步至Hive
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
API概览
本产品（数据湖构建/2020-07-10）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。...GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
GetLifecycleRule-获取库表生命周期规则
获取库表生命周期规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/webapi/metastorehouse/...
DELETE
对于变长数组和嵌套表，PL/SQL会在 delete 操作后保留已删除元素的占位符。因此，删除的元素包含在集合的内部大小中，您可以通过为其分配有效值来恢复删除的元素。示例 以下是一个嵌套表删除元素后访问的示例。DECLARE TYPE nt_type IS ...
Dataphin为何会将一张逻辑表的调度任务拆成多个调度...
产品名称 Dataphin 产品模块 维度逻辑表、周期调度 概述 客户在创建逻辑表的时候发现，在运行任务后，逻辑表对应的物化表会有相同的两张表，但时间节点是不一样。逻辑表在创建时会自动进行映射创建物化表，按照一定的规则和周期进行拆分，...
Dataphin逻辑表的物化表是根据什么规则生成和变化的
产品名称 Dataphin 产品模块 事实逻辑表、维度逻辑表、汇总逻辑表 概述 本文介绍了Dataphin物化拆分的基本规则和多版本模型刷新机制 问题描述 1.修改逻辑表的哪些地方会导致物化表的版本发生变化？2.有些逻辑表存在多个物化表，具体是根据...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
MySQL分库分表同步至MaxCompute
若您需要修改MaxCompute表生命周期或修改目标表字段类型映射，您可单击MaxCompute表名列的目标表名进行修改。选择表建立方式 支持 自动建表 和 使用已有表。当 表建立方式 选择 使用已有表 时，MaxComputeBase 表名 列显示自动创建的表名称...
MySQL分库分表同步至MaxCompute
若您需要修改MaxCompute表生命周期或修改目标表字段类型映射，您可单击MaxCompute表名列的目标表名进行修改。选择表建立方式 支持 自动建表 和 使用已有表。当 表建立方式 选择 使用已有表 时，MaxComputeBase 表名 列显示自动创建的表名称...
配置FeatureStore项目
离线数据表生命周期 通过 FeatureStore 自动创建、存储于离线数据源MaxCompute中的表的生命周期。单击 提交，完成项目创建。新建特征实体 特征实体（FeatureEntity）一组特征表集合的名称，例如在推荐场景下，可以设置两个特征实体user和...
异常行为分析
一、异常行为分析 分析用户行为表，对上下游行为进行分析。选择任务类型：异常行为分析，选择相应的行为数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。用户ID...
ODPS-0123031
解决方案 当某张表超出 60000 个分区时，你可以通过以下方式解决：1）通过设置表生命周期，系统自动删除过期的分区数据与分区，详情请参考 生命周期操作。2）您可以合并历史分区数据，例如把历史一个的数据合并成一个分区，详情可以参考 ...
创建和查看DataWorks导出任务
迁移助手支持导出周期任务、手动任务、资源、函数、表元数据、数据源、组件、临时查询、数据服务和数据质量等对象，本文为您介绍如何创建和查看导出任务。背景信息 迁移助手支持通过 全量导出、增量导出 和 自选导出 等方式导出任务。不同...
QueryPublicModelEngine
负责人名称 description String 店铺表备注 备注 config String json字符串 拓展属性配置 lifeCycle Integer 365 表生命周期 uuid String obj-123456 对象唯一标识 gmtCreate TimeStamp 1644397025000 创建时间 gmtModified TimeStamp ...
数据存储量
开启多版本或设置数据表生命周期后，每一个版本的数据需要包括版本号（占用8字节）、列名和数据值。存储空间的计算公式：单行数据量=主键列 的数据量+所有 属性列 的数据量 主键列的数据量=主键列的名字长度之和+主键列的值的数据量之和 ...
SQL脚本
说明 如果您在SQL语句中自行创建了数据表，请按需设置临时表的生命周期，详情请参见 设置工作空间临时表清理时间。如果您在可视化参数配置中选中了 是否由系统添加Create Table语句 复选框，SQL脚本的中间位置可以配置任意的SQL语句，但是...
基础统计分析
一、基础统计分析 选择任务类型：基础统计分析，选择相应的用户数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。Tag字段：可选择需要分析到的字段（例如：city...
功能更新动态（2023年）
新建统计周期 规范建模 支持创建无指标汇总逻辑表。业务限定支持根据不同业务日期区间配置不同的计算逻辑。新建汇总逻辑表 创建业务限定 计算任务 支持完整数据下载，可下载查询语句的完整结果。下载审批支持通过 管理中心-数据下载 进行...
文档更新动态（2023年）
更新说明 新建统计周期 数据开发-规范建模 支持创建无指标汇总逻辑表。业务限定支持根据不同业务日期区间配置不同的计算逻辑。更新说明 新建汇总逻辑表 创建业务限定 数据开发-编码研发 支持完整数据下载，可下载查询语句的完整结果。下载...
新建事实逻辑表
维表版本策略 选择关联维表的版本（分区），默认使用与主表相同周期分区版本。缺联策略 缺联策略用于定义来源主表（左表）中存在的字段，但在维度逻辑表（右表）中不存在的字段，即无法关联的字段的计算逻辑。您可以选择 保留原始缺联数据 ...
新建事实逻辑表
维表版本策略 选择关联维表的版本（分区），默认使用与主表相同周期分区版本。缺联策略 缺联策略用于定义来源主表（左表）中存在的字段，但在维度逻辑表（右表）中不存在的字段，即无法关联的字段的计算逻辑。您可以选择 保留原始缺联数据 ...
- 产品推荐
- 这些文档可能帮助您