配置Impala输入组件
切分键 您可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。...
配置并管理实时同步任务
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。选择表建立方式 您可以在 表建立...
配置PostgreSQL输入组件
您可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤...
配置PostgreSQL输入组件
您可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤...
配置Microsoft SQL Server输入组件
切分建 您可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。...
如何高效地查询时序数据
查询时序数据表中特定标签列的所有标签值 当将许多同类设备上报的数据接入到一张时序数据表中之后，有时会需要查询接入设备的某个标签的标签值。例如下述SQL就可以查询时序数据表 aqm 中接入的所有空气质量监控设备的设备 id：SELECT ...
行级管控
成功添加行级管控后，在没有申请行权限前，您不能在SQL窗口中查看该目标表中的数据。可选：申请单值行权限，需要添加管控值。在目标管控组的操作列中，单击 详情。在 管控值详情 面板，单击 添加行值。在 导入行值 对话框中，选择是否追加...
使用INSERT ON CONFLICT覆盖写入数据
返回示例如下：a|b|c|d-+-+-+-0|0|0|0 1|1|1|1 2|2|2|2(3 rows)插入的数据来自于子查询，如果主键冲突，则覆盖写入（用于合并两表数据或更复杂的INSERT INTO SELECT场景）：创建表t2，数据结构与表t1一致，建表语句如下：CREATE TABLE t2...
DELETE
DELETE语法用于按行删除宽表中的数据或删除时序表中指定条件下的时间线。引擎与版本 DELETE语法适用于宽表引擎和时序引擎。时序引擎3.4.19及以上版本支持删除时间线。如何查看或升级当前版本，请参见 时序引擎版本说明 和 升级小版本。宽表...
Hudi概述
针对Merge On Read类型的表，查询时需要在线合并列存中的Base数据和日志中的实时数据；针对Copy On Write表，可以查询最新版本的Parquet数据。Copy On Write和Merge On Read表支持该类型的查询。Incremental Queries 支持增量查询的能力，...
二级索引简介
索引列补齐 系统自动将未出现在索引列中的数据表主键补齐到索引表主键中。索引类型 表格存储提供了全局二级索引和本地二级索引两种类型的索引。全局二级索引以异步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，正常情况下...
表基础
当一个表被读取时，表中的行将以非特定顺序出现，除非明确地指定需要排序。此外，SQL 不会为行分配唯一的标识符，因此在一个表中可能会存在一些完全相同的行。这是 SQL 之下的数学模型导致的结果，但并不是所期望的。稍后在本章中我们将...
表存储格式定义
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
JSON索引
通过为存储在JSON列中的数据创建JSON索引，可以避免在查询数据时扫描全表数据或对整个JSON文档进行解析，从而提升数据查询效率。JSON索引主要适用于存储和查询复杂半结构化数据的场景，例如日志信息、配置文件、设备信息等。注意事项 JSON...
概览
二级索引 表中二级索引的详细信息，包括索引名、状态、构建进度、索引类型等。分片信息 表所属分片、节点、所属分片大小、所属分片包含的文件数等。您可以单击表格右上角的 设置展示的列。Region分布信息 展示节点的分片数量和大小、节点的...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
使用须知
了解开源Spark SQL 通过开源Spark SQL访问数据库的数据分为以下三个级别：Catalog：用来标识用户不同的数据源。Namespace：与数据库中的Database或者Schema相对应。Table：与数据库中的表相对应。了解Lindorm计算引擎SQL 根据您已开通的...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA ...可直接查询名下表中的数据（不包含敏感/字段）。说明 资源角色的申请与管理请参见 权限管理。
产品整体介绍
数据和索引（Data&Index）支持行存表，列存表，和外表以及相应索引：行存表：数据按行存放，支持主键，B+树索引，Bitmap索引，GIN索引等，适合数据实时写入更新删除，点查，范围查，通过MVCC提供事务能力。列存表：数据按列存放，高压缩比...
RDS外部表
如果您需要通过MaxCompute将数据加载至RDS的表中，可参考该文档进行操作。本文为您介绍如何在外网或VPC网络环境下基于RDS数据源创建外部表并写入数据。前提条件 已开通MaxCompute和云数据库RDS间的网络连接，详情请参见 网络开通流程。使用...
Flink_SQL任务开发方式
若您需要将Hologres数据源（数据源编码为 ds_demo_hologres、schema的名称为 hologres）的 demo_hologres 物理表的数据插入至 test_demo 物理表中。您可以参考以下代码完成开发。insert into test_demo select id,name from ds_demo_...
全量数据同步
通过选择已注册的数据源端数据和目标端，...前往 数据查询 模块，单击 物理表查询，选择目标端数据源及表“dataq_odps_dev/stg_base_yhkh_demo_df”，在 数据预览 中可查看“stg_base_yhkh_demo_df”表中已写入gz（工资）大于10000元的数据。
更新或删除数据（UPDATE|DELETE）
MaxCompute支持通过 delete、update 操作，在行级别删除或更新Transactional表中的数据。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 前提...
管理访问控制权限
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行、元数据等进行访问控制权限管理。本文对DMS提供的访问控制权限进行介绍。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作...
交叉表
交叉表可以显示表中某个字段的汇总值，并对同类数据合并。其中一组列在表的左侧，另一组列在表的上部。行和列的交叉处可以对数据进行多种汇总计算，例如求和、平均值、记数、最大值和最小值。本文为您介绍如何为交叉表添加数据并配置样式。...
新建表
表进行分区后，表中的数据会存放到多个表空间，每次查询数据时不会扫描整张表。OceanBase 中 MySQL 模式支持六种分区方法：key、Hash、Range、Range Columns、List 和 List Columns。Oracle 模式支持三种分区方法：List、Range 和 Hash。...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
创建数据流
以过滤源表数据为例，配置数据处理节点。说明 除 数据输入 和 数据输出 外，其他任务类型均可作为数据处理节点。在左侧 任务类型 列表中，拖拽 数据过滤 节点到画布的空白区域。将鼠标放在 数据输入 节点上，单击节点右侧出现的空心圆点并...
OceanBase 数据库 MySQL 租户之间的数据同步
本文为您介绍如何创建 OceanBase 数据库 MySQL 租户（简称为 OB_MySQL）至 OceanBase 数据库 MySQL 租户的数据同步项目。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为 OceanBase 数据库创建专用于数据...
管理访问控制权限
数据管理DMS提供了全方位细粒度的数据安全管理功能，您可以对实例、数据库、表、行、敏感列等进行权限管理。本文介绍不同的用户角色进行权限管理的方法。注意事项 未开启安全托管的实例，仅支持申请或授予登录实例权限。已开启安全托管的...
配置AnalyticDB for PostgreSQL输出组件
具体操作，请参见 创建AnalyticDB for PostgreSQL数据源 表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 ...
管理视图
查看视图数据 进入 数据 页签，查看视图中的数据。导出 导出对象，默认导出当前对象，同时支持同时导出多个对象。具体请参见本手册文档 导入和导出。下载 下载视图对象的 SQL 文件。复制 选择对象名、Select 语句、Insert 语句、Update ...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的...单击页面右上方的 保存，MaxCompute表中的数据会被同步修改。保存维表后，您可以使用 版本对比 功能检查修改操作是否符合预期，避免误操作。
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
配置ClickHouse输出组件
输入字段 展示从源表中读取的字段。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：单个删除字段场景：按照下图操指引，删除单个字段。批量删除字段场景：...
Beam概述（公测）
您可以在DTS任务中将目标表配置为Beam表，从而获得更优的查询性能，而不需要在行存和列存表之间做额外的数据同步。相关文档 更多关于Beam存储引擎的使用，请参见 Beam使用（公测）。Beam支持多种压缩算法，其中字典编码功能可以将字符串...
配置列映射
targetField：映射到索引表中的列名，推荐使用搜索引擎提供的动态列功能，搜索引擎通过动态列的后缀自动识别这一列的数据类型，例如：name_s 表示这一列在索引表中的数据类型为 STRING。有关动态列的格式请参见 targetField 参数说明。type...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。...
配置ClickHouse输出组件
输入字段 展示从源表中读取的字段。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：单个删除字段场景：按照下图操指引，删除单个字段。批量删除字段场景：...
配置Greenplum输入组件
您可以将源数据表中某一列作为切分键，该字段类型必须是整型数字，建议使用主键或有索引的列作为切分键。批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤适用于以下两种场景，...
- 产品推荐
- 这些文档可能帮助您