资源包选购案例
根据数据透视表中的各数据用量评估所需资源包规格。重要 此处地域以 全国通用（中国内地）为例介绍，实际场景中可以根据实例所属地域结合各地域资源包进行使用。购买时长越长能享受的折扣越多，请根据实际业务需要选择。计量项 用量 推荐...
TRUNCATE TABLE
注意事项 执行 TRUNCATE TABLE 命令清空表中的数据，表结构不会被删除。数据库备份期间无法执行，执行 TRUNCATE TABLE 将会报错。当集群中有状态为运行中（RUNNING）的Build任务时，执行 TRUNCATE TABLE 将会报错，需要等Build任务完成后再...
回收站列表
同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 我的治理 页面。在 资源 页面，单击左侧导航栏 回收站列表...
回收站列表
同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 我的治理 页面。在 资源 页面，单击左侧导航栏 回收站列表...
创建元数据
参数 描述 数据表配置 物理数据表 选择 HBase 0.9.4/1.1.x/2.x 的数据源类型、数据源和需要创建元数据的数据表。Rowkey 配置 在读写HBase的数据时，需要通过RowKey字段查询到数据所在的Region及Region下的MemStore和HFile。分隔符 基于业务...
配置Hologres输出组件
表 选择Hologres数据源中的数据表。如果Hologres数据源中还没有数据表，则需要提前创建数据表。具体操作，请参见 表。写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：...
添加数据集
数据源导入：选择 数据源导入 创建方式，可快速导入已添加完成的适配类型数据源中的数据表内容。添加适配数据内容的方法请参见 添加适配数据源。说明 仅支持导入兼容MySQL数据库、RDS for MySQL和RDS for PostgreSQL这三种类型的数据源。在...
导出至MaxCompute
导出到MaxCompute一级分区表 本示例将 AnalyticDB MySQL版 数仓版（3.0）的 adb_table 表中的数据导出到MaxCompute的 odps_table 一级分区表中。连接目标 AnalyticDB MySQL 数仓版（3.0）集群。详细操作步骤，请参见 连接集群。新建一张...
配置AnalyticDB for PostgreSQL输出组件
具体操作，请参见 创建AnalyticDB for PostgreSQL数据源 表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 ...
将时空数据写入宽表引擎
创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data SELECT*FROM gps_data_stream;使用时空函数，支持的时空数据类型和时空函数请参见 空间数据类型 和 函数概览。CREATE CQ gps_...
代码模式建模
FML语言将SQL中的关键字作为保留字，如果您的数据表或数据表的列使用了关键字命名，则需要使用 `` 符号进行转义，否则创建表会产生报错。进入目标表的FML编辑页面 在 维度建模 页面，双击目录树下对应的表名称。在 表详情 页单击 代码模式...
写数据表
增量同步：保留目标表中的已有数据，然后追加插入新数据。分区同步：向目标表的指定分区中重新插入新数据。仅对支持分区的计算资源有效。说明 同步的目标表在目标计算引擎中如果存在相同名称的表，如果目标表的结构与已存在表的结构一致，...
REPLACE SELECT FROM
REPLACE SELECT FROM 用于将其他表中的数据实时覆盖写入目标表中。写入数据时，根据主键判断待写入的数据是否已经存在于表中，如果已经存在，则先删除该行数据，然后插入新的数据；如果不存在，则直接插入新数据。语法 REPLACE INTO table_...
配置Hologres输出组件
表 选择Hologres数据源中的数据表。写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：Hologres 0.8版本推荐选择SDK模式。Hologres 0.9及之后版本推荐选择SQL模式。加载...
资源角色
可查询实例下所有数据库中的数据（不包含敏感字段），提交各类数据方案与库表结构的工单。对应于审批节点中 动态计算 的DBA。实例Owner 每个实例可以设置3个实例Owner。云数据库资源默认主账号为实例Owner。非云数据库默认当前录入的云账号...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
配置AnalyticDB for PostgreSQL输出组件
表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 一键生成目标表。Dataphin会自动为您匹配创建表的代码，...
数据归档
说明 ODC V4.2.2 及之后的版本支持选择 MySQL 数据库，以将 MySQL 中的数据归档到 OceanBase 数据库中。目标数据库 选择表归档的数据库。说明 ODC V4.2.2 及之后的版本支持选择 MySQL 数据库，以将 OceanBase 中的数据归档到 MySQL 数据库...
使用全局临时表
语法 CREATE GLOBAL TEMPORARY|TEMP TABLE table-name { column-definition[,column-definition]*}[ON COMMIT {DELETE|PRESERVE} ROWS]支持ON COMMIT DELETE ROWS子句，即当前事务提交后清空临时表中的数据。支持ON COMMIT PRESERVE ROWS...
使用全局临时表
语法 CREATE GLOBAL TEMPORARY|TEMP TABLE table-name { column-definition[,column-definition]*}[ON COMMIT {DELETE|PRESERVE} ROWS]支持ON COMMIT DELETE ROWS子句，即当前事务提交后清空临时表中的数据。支持ON COMMIT PRESERVE ROWS...
通过SQL模式创建API（Dataphin表）
Dataphin能解析出 返回参数 和 请求参数 的SQL脚本模板如下：模板一：仅查询和返回数据表中的字段。命令格式 select<返回参数>from<数据表名>where<请求参数>=${请求参数值} 使用示例-在数据表A中查询当c=id_card时，返回id_card和name。...
使用SQL管理外部项目
但external_project.testtbl中的数据不会被复制到from_exe_tbl表中。查询表 SELECT*from from_exe_tbl;查看表结构 desc from_exe_tbl；相关文档 如果您想给外部项目或其中的表进行授权，可参见 对于外部项目的用户以及权限操作。
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将...确认同步结果 请前往目标数据源中确认MaxCompute表中的数据是否已成功导入目标表中：如果数据完整无遗漏，则同步完成。如果数据未同步成功或数据存在遗漏，请参见 离线同步常见问题。
DELETE
DELETE 用于删除表中的数据。注意事项 执行 DELETE 命令时，表中必须存在主键。DELETE 暂不支持使用表的别名。不建议通过 DELETE 命令删除全表、全分区的数据，建议使用 TRUNCATE TABLE、TRUNCATE TABLE PARTITION 命令，详情请参见 ...
配置MySQL输入
重要 分库分表中的数据表的Schema请保持一致，以避免执行报错。输出字段 选择需要同步的字段，包括 管理字段 和 数据字段：管理字段：为方便进行数据管理、排序和去重等操作，会在同步的目标端自动添加附加字段。数据字段：显示要同步的...
新建表
ODC 中支持设置的表级约束包括以下 4 种：主键约束：定义一个主键来唯一标识表中的每一行数据。主键约束可为一个字段或是一组字段，一张表中只能设置一个主键约束，且设置完成后不支持编辑。唯一约束：保证在一个字段或者一组字段里的数据...
使用ETL分析实时订单
步骤三：配置表记录过滤 配置过滤条件（单笔金额需超过3000），筛选宽表中的数据。步骤四：配置目标库信息 将加工后的数据实时加载至目标表中。步骤五：预检查并启动任务 预检查并启动ETL任务，执行以上配置。准备工作 在配置ETL任务前，您...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 企业数据智能平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联...
配置转换组件
Left Join：左表中的数据不变，右表中的数据为两张表的交集。Right Join：左表中的数据为两张表的交集，右表中的数据不变。Join条件+新增条件 单击+新增条件，从多个数据源中选择Join的条件字段。说明 等号（=）左侧为数据源左表字段，右侧...
创建并管理维表
维表功能支持您使用可视化的方式创建MaxCompute生产表并导入本地数据，您还可以在表格中直接修改MaxCompute表中的数据。前提条件 已开通MaxCompute，详情请参见 开通MaxCompute和DataWorks。已在DataWorks工作空间绑定MaxCompute计算引擎，...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
统一服务
数据源可以是Table Store、ApsaraDB for RDS和AnalyticDB MySQL等数据存储中的数据表。流式数据服务的源头为DataHub或RocketMQ的Topic，服务封装为DataHub Topic的读取API，返回Topic中的数据。数据源可以是DataHub和RocketMQ。批量离线...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
最佳实践
每个分区中的数据量：如果您希望该分区中的数据至少为1 GB，则可以按列进行分区。压缩文件 如果您不断将数据写入Delta表，随着时间的流逝，它将累积大量文件，尤其是如果您少量添加数据时。这可能会对表读取的效率产生不利影响，也可能影响...
云盘备份数据导入至AnalyticDB MySQL版
如果您需要对RDS MySQL云盘数据进行查询分析，您可先使用高级下载功能将数据下载到阿里云OSS中，再将OSS中的数据导入到云原生数据仓库 AnalyticDB MySQL版 进行查询分析。前提条件 RDS MySQL为 云盘 实例，且支持高级备份下载功能。是否...
功能简介
数据源可以是Table Store、ApsaraDB for RDS和AnalyticDB MySQL等数据存储中的数据表。流式数据服务的源头为DataHub或RocketMQ的Topic，服务封装为DataHub Topic的读取API，返回Topic中的数据。数据源可以是DataHub和RocketMQ。批量离线...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
通过创建元数据库来管理DLF湖中的数据。登录 数据湖构建控制台，在左上角选择地域，例如 华东2（上海）。创建元数据库。例如datalake。在左侧导航栏，选择 元数据管理，在 数据库 页签，单击 新建数据库。在 新建数据库 对话框，配置相关...
归档为IBD格式
当表中的数据为冷数据且对延时不敏感，或访问集中可被缓存且尾访问延迟不敏感时，您可以通过该语法将PolarStore块存储表转换为OSS对象存储表：ALTER TABLE table_name STORAGE_TYPE OSS;将数据切回PolarStore块存储模式。ALTER TABLE table...
- 产品推荐
- 这些文档可能帮助您