管理问题数据
背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据表原表名}_dirtydata_dw_system_dqc。问题数据表所属空间：根据当前表所...
DELETE
前提条件 执行 delete、update 操作前需要具备目标Transactional表的读取表数据权限（Select）及更新表数据权限（Update）。授权操作请参见 权限列表。使用限制 delete、update 功能及对应Transactional表的使用限制如下：仅支持...
代码模式建模
其采用增量更新等方式更新表数据。累加表（ACCUMULATING_SNAPSHOT）：存储事务数据的快照信息，用于积累不确定周期的数据，例如，订单记录快照事实表可包含付款日期，发货日期和收货日期时间点。DWS表：用于合并特定指标的逻辑汇总表，表的...
文档更新动态（2024年）
更新说明 上传资源及引用 数据开发-规范建模/编码研发 开发环境下，逻辑表数据预览变量参数值优化，本地变量的参数值默认填充参数配置中已配置的值，日期时间全局变量取当前最新值。开发环境下运行计算任务以及对逻辑表进行数据预览时，...
确认表血缘
场景二：设置了调度依赖，但由于参数配置导致下游取上游表数据早于上游表数据产出 同周期依赖配置情况下，由于上游产出的表分区与下游取表数据的分区匹配不上，可能会导致下游取数出现质量问题，或下游任务报错。如下图所示。说明 ...
手工表概述
搜索：支持查找当前表数据或替换表数据内容。自适应列宽：可使表自适应列宽。获取锁（释放锁）：若需编辑表需要获取表锁；不需要编辑表时可释放表锁，使他人可进行编辑操作。从引擎同步：将从引擎同步此表的最新数据。说明 该操作可能耗时...
手工表概述
搜索：支持查找当前表数据或替换表数据内容。自适应列宽：可使表自适应列宽。获取锁（释放锁）：若需编辑表需要获取表锁；不需要编辑表时可释放表锁，使他人可进行编辑操作。从引擎同步：将从引擎同步此表的最新数据。说明 该操作可能耗时...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
实时消费Kafka数据
MERGE：当写入数据与目标表列的值相等时，使用写入数据更新目标表列的现有数据中。当写入数据与目标表列的值不相等时，直接将数据写入目标表。MERGE写入模式可类比于UPSERT（UPDATE and INSERT），关于UPSERT的写入方式，请参见 使用INSERT...
数据引入层（ODS）
例如，日志类ODS表没有数据更新的业务过程，因此所有增量分区UNION在一起就是一份全量数据。全量存储 以天为单位的全量存储，以业务日期作为分区，每个分区存放截止到业务日期为止的全量业务数据。例如，1月1日，卖家A在A公司电商网发布了B...
API概览
GetTableProfile 获取表数据概况 获取表数据概况的详细信息。RenameTable 更新元数据表的名称 仅用于更新数据湖元数据表的名称。BatchGetTables 批量获取元数据表详情 批量获取某个数据湖元数据表的详细信息。BatchCreateTables 批量新增...
外部表常见问题
使用SDK搜索MaxCompute外部表数据速度慢 问题现象 使用SDK搜索MaxCompute外部表数据速度慢。解决措施 外部表仅支持全量搜索，所以较慢，建议您改用MaxCompute内部表。查询外部表Tablestore数据慢 问题现象 查询外部表Tablestore的数据慢，...
资产全景
数据模型 包含 维度逻辑表、事实逻辑表、汇总逻辑表 三种指标数量，而维度逻辑表数+事实逻辑表数+汇总逻辑表数之和，即是生产环境所有逻辑表总数，准实时更新。结构化模式 按照下图指引，进入 结构 页面。单击数据 结构 页面右上方的目标...
数据地图概述
MaxCompute表数据预览权限控制 您可以在 配置管理>项目管理配置 中对具体工作空间的MaxCompute开发表或生产表开启预览权限，开启后，该项目下的表无需申请访问权限，即可被工作空间中所有成员预览。详情请参见 项目管理配置。说明 此操作...
资产全景
数据模型 包含 维度逻辑表、事实逻辑表、汇总逻辑表 三种指标数量，而维度逻辑表数+事实逻辑表数+汇总逻辑表数之和，即是生产环境所有逻辑表总数，准实时更新。结构化模式 按照下图指引，进入 结构 页面。单击数据 结构 页面右上方的目标...
DataWorks OpenAPI概述
2级 UpdateMetaTableIntroWiki 调用UpdateMetaTableIntroWiki更新表的说明信息，当数据不存在时增加信息。2级 ListMetaDB 调用ListMetaDB查询数据库列表。1级 UpdateTableModelInfo 调用UpdateTableModelInfo修改表的主题、层级和物理分类...
查询结果不符合预期的常见原因
表属性为IMMUTABLE的表有更新 表的属性被设置成IMMUTABLE表示该表仅支持整行写入（即一行的数据通过一条UPSERT语句写入，不支持一行的数据通过多条UPSERT语句写入），不可更新或删除。但在实际操作中，即使表的属性被设置成IMMUTABLE，...
文档更新动态（2022年）
更新说明 管理动态脱敏规则、项目安全策略、脱敏算法、密钥管理 2022年10月25日 数据表质量规则和质量规则模块升级 支持多种数据源表的质量监控，支持数据源连通性及表结构异动性监控。内置丰富的质量规则模板。资产报告升级，可从资源粒度...
表存储格式定义
您可以根据使用场景，在建表时选行存表（适合数据更新较频繁或采用INSERT方式的实时写入的场景）或列存表（适合少量列的数据查询、聚集等数据仓库应用场景）。行存表 默认情况下，AnalyticDB PostgreSQL版 创建的是行存表（Heap Table），...
表删除，更新和合并
要在使用updateAll和insertAll（至少其中一个）执行merge操作期间自动更新表架构，可以在运行merge操作之前设置Spark会话配置spark.databricks.delta.schema.autoMerge.enabled为true。说明 架构演变仅在同时存在一个updateAll或一个...
二级索引
说明 IMMUTABLE和IMMUTABLE_ROWS不涉及数据更新，无写放大问题，成本最低。适合高吞吐写的场景，如日志、监控等。IMMUTABLE不涉及删除，所以可充分利用Lindorm的多IDC部署，实现多活的数据访问。选择两类IMMUTABLE可以有效降低索引场景下的...
DML操作常见问题
问题类别 常见问题 插入或更新数据 执行INSERT操作过程中出现错误，会损坏原有数据吗？执行INSERT INTO或INSERT OVERWRITE操作时，提示Table xxx has n columns，but query has m columns，如何解决？执行INSERT INTO或INSERT OVERWRITE...
数据方案概览
数据变更 普通数据变更 支持数据库进行数据更新。无锁数据变更 将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的影响。历史数据清理 支持历史数据清理，可以根据...
我的数据
手动刷新表元数据 如果表存在但是搜索不到或者表更新了但是数据地图显示还未更新，您需要手动刷新表元数据。在搜索结果页面单击 刷新表元数据。进入数据地图的 我的数据>刷新表元数据 页面：说明 手动刷新表元数据仅对MaxCompute和E-...
导入与导出
无主键表的主键选择可能会导致热点行更新，而热点行更新速度很慢，可以向 AnalyticDB MySQL 提工单解决该问题。当 AnalyticDB MySQL 集群的写入性能已达到瓶颈，需要升级 AnalyticDB MySQL 规格。DataWorks导入数据至AnalyticDB MySQL集群...
更新数据表资产
本文介绍如何进行数据表资产批量更新。跨租户更新 指将其他租户同名资产信息通过导入更新至本租户。登录 数据资源平台控制台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产管理。在左侧菜单栏，选择 系统资产管理>数据表...
更新数据表资产
本文介绍如何进行数据表资产批量更新。跨租户更新 指将其他租户同名资产信息通过导入更新至本租户。登录企业数据智能平台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产管理。在左侧菜单栏，选择 系统资产管理>数据表管理...
元数据采集
支持的数据源及元数据采集方式 数据源类型 元数据采集方式 是否能在数据地图中看到采集器 元数据更新时效性 数据表/字段 分区 数据血缘 MaxCompute 数据开发-绑定数据源 自动启动采集 否 普通项目：实时 外部项目：T+1 国内地域：实时 海外...
操作项目权限
表类型为 物理表 时：支持选择 查表数据、改表数据、删除表、改表结构。表类型为 元表、镜像表 时，支持选择 查表数据、改表数据。授权原因 填写授予项目权限的原因。单击 确定，完成项目权限的授权。回收项目权限 按照下图指引，进入 项目...
操作项目权限
表类型为 物理表 时：支持选择 查表数据、改表数据、删除表、改表结构。表类型为 元表、镜像表 时，支持选择 查表数据、改表数据。授权原因 填写授予项目权限的原因。单击 确定，完成项目权限的授权。回收项目权限 按照下图指引，进入 项目...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
步骤五：创建并启动入湖任务 基于DLF创建数据入湖任务，将RDS数据库中的表数据实时同步并回放到数据湖中。步骤六：基于MaxCompute分析数据湖数据 通过DataWorks控制台的数据湖集成界面创建External Project，对数据湖数据进行分析。步骤一...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
数据上传
先清空表数据：先清空目标表数据，再全量将数据导入至目标表中相应的映射字段。追加：将待上传数据追加至目标表相应映射字段中。主键冲突策略：若上传数据导致目标表主键冲突，可采取如下处理策略。忽略：忽略上传的数据，目标表中的数据...
使用批量更新
以用户发起一次Update操作为例（对列存表单行记录的更新），AnalyticDB PostgreSQL版 中的数据更新过程如下图所示。步骤说明如下：用户发送Update的SQL请求至主节点。主节点发起分布式事务，对被Update的表加锁（AnalyticDB PostgreSQL版 ...
算子级别诊断结果
AnalyticDB MySQL版 在预估左右表数据量时，由于统计信息过期等原因导致估计错误。建议 建议将Left Join优化改写成Right Join。改写方法，请参见 Left Join优化改写为Right Join。存在Cross Join 问题 Cross Join，即没有Join条件的Join...
DML无锁变更概览
SQL没有使用索引导致锁表，数据库负载增加，甚至造成业务故障。此类问题通常可通过分批执行的方法解决，但是仍存在风险，例如：研发写程序分批处理：分批方式不当，例如直接用 LIMIT 进行分批，可能仍会锁表。分批执行的频率没有控制好，会...
查询物理表数据
本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航...
查看数据集
前提条件 已在系统设置模块中连通云计算资源。背景信息 支持查看和修改数据集详情和查看操作记录。操作步骤 登录 数据资源平台...当需要查看最新的数据时，在临时查询SQL编辑框菜单栏，输入查询脚本，单击 图标，查看当前的表数据最新信息。
查询物理表数据
本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧...
- 产品推荐
- 这些文档可能帮助您