HBase Shell使用介绍
truncate:清空表中的数据，其内部实现是将指定的表下线、删除、重建，该操作会丢失Region分区 truncate_preserve：清空表中的数据，其内部实现是将指定的表下线、删除、重建，并且Region分区与旧表保留一致 进入和退出Shell环境 执行以下...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
数据归档
原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置条件：OceanBase 数据源必须通过 OBproxy 连接（暂不支持对直连的 OceanBase 进行归档操作）。OceanBase 数据源目前仅支持集群实例，新建数据源时必须配置集群名称。OceanBase ...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
DML操作常见问题
如果表非Transactional表，您需要把源分区或源表中的数据导入到新分区或新表中，在导入过程中执行相应的更新逻辑操作。新分区或新表可以与源分区或源表相同，即就地更新。如何删除MaxCompute表或分区中的数据？MaxCompute支持通过 delete ...
使用ETL分析实时订单
步骤 说明 准备工作 将实时交易数据、业务维度数据存储在源表中，并根据业务需求创建目标表。说明 本案例中实时交易、业务维度表、目标表均存储在RDS MySQL中。步骤一：配置源库信息 将实时交易数据配置为流表，业务维度数据配置为维表。...
归档为CSV或ORC格式
对InnoDB引擎中的表使用冷数据归档功能时，执行冷数据归档操作的表中必须有主键。冷数据归档完成后，OSS上的归档表只读，且查询性能较差。您需要提前测试数据归档后是否能满足您的查询性能要求。示例 将表 t 中的数据以 CSV 或 ORC 格式...
配置Hologres输出组件
加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时追加数据。分区 选择写入数据的分区。输入字段 展示从源表中读取的字段。输出...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
PostgreSQL数据源
是 无 column 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。默认使用所有列配置，例如[*]。支持列裁剪，即列可以挑选部分列进行导出。支持列换序，即列可以不按照表schema信息顺序进行导出。支持常量配置，您需要按照...
写数据表
用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 查看上游节点输入到当前节点的字段...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA ...可直接查询名下表中的数据（不包含敏感/字段）。说明 资源角色的申请与管理请参见 权限管理。
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
配置转换组件
Left Join：左表中的数据不变，右表中的数据为两张表的交集。Right Join：左表中的数据为两张表的交集，右表中的数据不变。Join条件+新增条件 单击+新增条件，从多个数据源中选择Join的条件字段。说明 等号（=）左侧为数据源左表字段，右侧...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
配置Hologres输出组件
加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时追加数据。分区 选择写入数据的分区。输入字段 展示从源表中读取的字段。输出...
表详情
行数：表中数据的行数。容量（MB）：表占用的容量。环境：表所属实例的环境类型，如开发、测试等环境，更多信息，请参见 实例环境说明。库信息：表所在的数据库。权限：当前用户对该表所拥有的权限。数据Owner：该表的数据Owner。标签：...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...
查询结果不符合预期的常见原因
在使用Lindorm宽表引擎的过程中，如果使用方法不当，可能会出现查询结果与预期不符的情况。本文列举了导致此类问题产生的几种常见原因，请您根据原因进行排查，优化...建议您重新构建索引表，并停止更新或删除属性为IMMUTABLE的表中的数据。
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
如果您的数据库表数量不多，您可以直接在右侧预览模块手动勾选待同步的数据库表，然后添加到已选库表中，此时页面会根据您的勾选情况自动在左侧添加限定条件。如果您有多个数据源、数据库、数据表，您可以在左侧手动添加限定条件来进行过滤...
配置MySQL输入
数据字段：显示要同步的原始表中对应的字段。详情请参见 实时同步字段格式。MySQL节点支持分库分表，您可以单击 添加分库分表数据源，从下拉列表中选择相应的 数据源 和 表，添加多个数据源，同时进行同步。重要 所选表的Schema需要保持...
支持的云服务
表格存储 表格存储是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务，MaxCompute 2.0支持直接通过外部表方式访问表格存储中的表数据并进行处理，详情请参见 Tablestore外部表。更多表格存储信息，请参见 表格存储。对象存储OSS ...
Iceberg概述
在Iceberg数据湖中，您可以直接通过执行类似命令 DELETE FROM test_table WHERE id>10，来完成表中数据的变更。数据质量控制 借助于Iceberg Schema的校验功能，在数据导入时剔除异常数据，或者对异常数据做进一步处理。数据Schema变更 数据...
操作流程
物理化逻辑表 通过物理化的方式，将 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置质量...
Catalog概述
查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源中的数据，请参见 数据湖分析。跨Catalog查询数据 如果想在一个Catalog中查询其他Catalog中数据，可通过 ...
事件
当您在交叉表中添加数据填报事件，则可以将数据内容录入到目标数据库中，完成数据填报。当您在交叉表中添加钉钉事件时，则可以在移动端将数据内容通过Ding、待办、日程方式发送给钉钉用户。前提条件 如果您添加数据填报事件，则：请确保您...
数据归档功能介绍及开启方法
创建完成后，在 PolarDB-X 实例的归档执行时间（即可维护窗口时间）内，原TTL表中的过期数据会定期地迁移到归档表中，PolarDB-X 会自动执行冷数据归档操作。注意事项 仅 PolarDB-X 的5.4.14-16590002及以上版本支持该功能。仅AUTO模式下的...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
数据方案概览
无锁数据变更 将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的影响。历史数据清理 支持历史数据清理，可以根据设定的规则定期清理历史数据。可编程对象 支持存储...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
01创建数据字典并物理化
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
配置AnalyticDB for MySQL 3.0输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项。数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
配置AnalyticDB for MySQL 3.0输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项。数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前...
- 产品推荐
- 这些文档可能帮助您