元数据管理
选择元数据表中数据存储的位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列，指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-元数据库页面。2.找到想要删除的元数据库，点击右侧的删除...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
资源包选购案例
根据数据透视表中的各数据用量评估所需资源包规格。重要 此处地域以 全国通用（中国内地）为例介绍，实际场景中可以根据实例所属地域结合各地域资源包进行使用。购买时长越长能享受的折扣越多，请根据实际业务需要选择。计量项 用量 推荐...
TRUNCATE TABLE
清空表中的指定分区。TRUNCATE TABLE db_name.table_name PARTITION partition_name[,.];分区名的数据类型为bigint，您可以通过以下SQL获取某个表的所有分区名。SELECT partition_name from information_schema.partitions WHERE table_...
REPLACE SELECT FROM
column_name：列名，如果需要将源表中的部分列数据插入到目标表中，SELECT 子句中的列必须与 REPLACE 子句中列的顺序、数据类型一致。注意事项 执行 REPLACE SELECT FROM 命令时，需先创建待写入数据的目标表。示例 以指定列名的方式，从...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
写数据表
增量同步：保留目标表中的已有数据，然后追加插入新数据。分区同步：向目标表的指定分区中重新插入新数据。仅对支持分区的计算资源有效。说明 同步的目标表在目标计算引擎中如果存在相同名称的表，如果目标表的结构与已存在表的结构一致，...
配置Hologres输出组件
加载策略 向目标数据源（Hologres数据源）写入数据时，数据写入表中的策略。加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时...
将时空数据写入宽表引擎
创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data SELECT*FROM gps_data_stream;使用时空函数，支持的时空数据类型和时空函数请参见 空间数据类型 和 函数概览。CREATE CQ gps_...
创建元数据
参数 描述 数据表配置 物理数据表 选择 HBase 0.9.4/1.1.x/2.x 的数据源类型、数据源和需要创建元数据的数据表。Rowkey 配置 在读写HBase的数据时，需要通过RowKey字段查询到数据所在的Region及Region下的MemStore和HFile。分隔符 基于业务...
代码模式建模
FML语言将SQL中的关键字作为保留字，如果您的数据表或数据表的列使用了关键字命名，则需要使用 `` 符号进行转义，否则创建表会产生报错。进入目标表的FML编辑页面 在 维度建模 页面，双击目录树下对应的表名称。在 表详情 页单击 代码模式...
配置Hologres输出组件
加载策略 向目标数据源（Hologres数据源）写入数据时，数据写入表中的策略。加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时...
DELETE
DELETE 用于删除表中的数据。注意事项 执行 DELETE 命令时，表中必须存在主键。DELETE 暂不支持使用表的别名。不建议通过 DELETE 命令删除全表、全分区的数据，建议使用 TRUNCATE TABLE、TRUNCATE TABLE PARTITION 命令，详情请参见 ...
导出至MaxCompute
导出到MaxCompute一级分区表 本示例将 AnalyticDB MySQL版 数仓版（3.0）的 adb_table 表中的数据导出到MaxCompute的 odps_table 一级分区表中。连接目标 AnalyticDB MySQL 数仓版（3.0）集群。详细操作步骤，请参见 连接集群。新建一张...
通过SQL模式创建API（Dataphin表）
Dataphin能解析出 返回参数 和 请求参数 的SQL脚本模板如下：模板一：仅查询和返回数据表中的字段。命令格式 select<返回参数>from<数据表名>where<请求参数>=${请求参数值} 使用示例-在数据表A中查询当c=id_card时，返回id_card和name。...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
配置列映射
targetField：映射到索引表中的列名，推荐使用搜索引擎提供的动态列功能，搜索引擎通过动态列的后缀自动识别这一列的数据类型，例如：name_s 表示这一列在索引表中的数据类型为 STRING。有关动态列的格式请参见 targetField 参数说明。type...
配置转换组件
Left Join：左表中的数据不变，右表中的数据为两张表的交集。Right Join：左表中的数据为两张表的交集，右表中的数据不变。Join条件+新增条件 单击+新增条件，从多个数据源中选择Join的条件字段。说明 等号（=）左侧为数据源左表字段，右侧...
配置AnalyticDB for PostgreSQL输出组件
输入字段 展示从源表中读取的字段。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：单个删除字段场景：按照下图操指引，删除单个字段。批量删除字段场景：...
新建表
ODC 中支持设置的表级约束包括以下 4 种：主键约束：定义一个主键来唯一标识表中的每一行数据。主键约束可为一个字段或是一组字段，一张表中只能设置一个主键约束，且设置完成后不支持编辑。唯一约束：保证在一个字段或者一组字段里的数据...
使用全局临时表
语法 CREATE GLOBAL TEMPORARY|TEMP TABLE table-name { column-definition[,column-definition]*}[ON COMMIT {DELETE|PRESERVE} ROWS]支持ON COMMIT DELETE ROWS子句，即当前事务提交后清空临时表中的数据。支持ON COMMIT PRESERVE ROWS...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA ...可直接查询名下表中的数据（不包含敏感/字段）。说明 资源角色的申请与管理请参见 权限管理。
使用ETL分析实时订单
参数 说明 选择事件时间Watermark字段 选择流表中的一个时间字段。一般流表会定义时间字段，代表数据产生的时间，通常为具有业务含义的时间戳（比如ordertime）。事件时间Watermark延迟时间 输入数据延迟的最大容忍时间。应用场景是，由于...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
使用SQL管理外部项目
但external_project.testtbl中的数据不会被复制到from_exe_tbl表中。查询表 SELECT*from from_exe_tbl;查看表结构 desc from_exe_tbl；相关文档 如果您想给外部项目或其中的表进行授权，可参见 对于外部项目的用户以及权限操作。
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
配置AnalyticDB for PostgreSQL输出组件
输入字段 展示从源表中读取的字段。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：单个删除字段场景：按照下图操指引，删除单个字段。批量删除字段场景：...
按Key闪回
预览并设置需要备份的表中的索引 输入需要备份的表中的索引，默认为_id，多个索引间用逗号（,）分隔。一般索引的数量最多支持设置10个。在 闪回备份设置修改 对话框中，单击 确定。发起闪回任务 在 备份与恢复 的 按key闪回 页签，单击目标...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
TRUNCATE
将指定表中的数据清空。清空非分区表里的数据 将指定的非分区表中的数据清空。如果您需要清空分区表中单个或多个分区的数据，请参见 清空分区数据。...SHOW：查看表的SQL DDL语句、列出项目下所有的表和视图或列出一张表中的所有分区。
创建并管理维表
维表功能支持您使用可视化的方式创建MaxCompute生产表并导入本地数据，您还可以在表格中直接修改MaxCompute表中的数据。前提条件 已开通MaxCompute，详情请参见 开通MaxCompute和DataWorks。已在DataWorks工作空间绑定MaxCompute计算引擎，...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
表设计最佳实践
Update（将table2表中的记录的值更新到table1表中）INSERT OVERWRITE TABLE table1 SELECT t1.key1,t1.key2,CASE WHEN t2.key1 IS NOT NULL THEN t2.col1 ELSE t1.col1 END AS col1,CASE WHEN t2.key2 IS NOT NULL THEN t2.col2 ELSE t1....
构建全量数据索引
对于宽表中的全量数据，需要手动执行全量构建索引才可以完成数据同步。本文介绍通过构建索引完成全量数据同步。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已通过开源客户端访问搜索索引并完成宽表和索引表的列映射配置文件，...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将...确认同步结果 请前往目标数据源中确认MaxCompute表中的数据是否已成功导入目标表中：如果数据完整无遗漏，则同步完成。如果数据未同步成功或数据存在遗漏，请参见 离线同步常见问题。
HBase Shell使用介绍
delete:用于删除表中的单元格值。deleteall:用于删除给定行的所有单元格。scan:用于扫描并返回表数据。count:用于计数并返回表中的行的数目。truncate:清空表中的数据，其内部实现是将指定的表下线、删除、重建，该操作会丢失Region分区 ...
配置MySQL输入
数据字段：显示要同步的原始表中对应的字段。详情请参见 实时同步字段格式。MySQL节点支持分库分表，您可以单击 添加分库分表数据源，从下拉列表中选择相应的 数据源 和 表，添加多个数据源，同时进行同步。重要 所选表的Schema需要保持...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 企业数据智能平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联...
- 产品推荐
- 这些文档可能帮助您