从ECS上的自建MySQL同步至Elasticsearch
不支持同步DDL操作，如果源库中待同步的表在同步的过程中，已经执行了DDL操作，您需要先移除同步对象，然后在Elasticsearch实例中移除该表对应的索引，最后新增同步对象。详情请参见 移除同步对象 和 新增同步对象。如果源库中待同步的表...
Stream Load
如果源文件中的列正好对应表中的内容，则无需指定该参数。如果源文件与表Schema不对应，则需要该参数来配置数据转换规则。列有两种形式，一种是直接对应于导入文件中的字段，可以直接使用字段名表示，一种需要通过计算得出。示例1：表中有3...
配置MaxCompute输出
例如：配置MaxCompute表分区字段值来源为源端字段A，当A字段值为aa时，实时同步会将数据写入到MaxCompute表对应的aa分区中，当A字段值为bb时，实时同步会将数据写入到MaxCompute表对应的bb分区中。单击工具栏中的 图标。
Stream Load
如果源文件中的列正好对应表中的内容，则无需指定该参数。如果源文件与表Schema不对应，则需要该参数来配置数据转换规则。列有两种形式，一种是直接对应于导入文件中的字段，可以直接使用字段名表示，一种需要通过计算得出。示例1：表中有3...
从MaxCompute批量导入导出
use exdb#exdb是HybriDB for MySQL中用户数据库的名称#MaxCompute非分区表对应的外表 CREATE TABLE IF NOT EXISTS odps_nopart_import_test_external_table(uid string,other string)ENGINE='ODPS' TABLE_PROPERTIES='{"endpoint":...
INSERT INTO|OVERWRITE
向表或分区写入数据时，支持根据指定的一列或多列（select_statement 对应表中的列），把排序列数据相近的行排列在一起，提升查询时的过滤性能，在一定程度上降低存储成本。需要注意的是，order by x,y 会严格地按照先x后y的顺序对数据进行...
使用paiio读写MaxCompute表数据
indices 中每个数（i）对应表中相应的第i列（列数从0开始编号）。返回值 无返回值。如果写过程出错，则系统会抛出异常并退出。关闭表 接口定义 writer.close()说明 在with语句的区块中，无需显示调用close()接口关闭表。参数 无 返回值 无...
数据问答干预
表值同义词配置（仅文本型表头具有）作用：用于配置表值的同义词，当命中表值同义词时，可以关联到对应的表值；内容配置：进入表头识别效果配置界面后，选择 表值同义词 标签。根据实际业务需求，先在“表值选择”框选择有关表值，后在...
RDS MySQL迁移至Elasticsearch
其他限制 如果源库中待迁移的表需要执行增加列的操作，您只需先在 Elasticsearch 实例中修改对应表的mapping，然后在源数据库中执行相应的DDL操作，最后暂停并启动迁移任务。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期...
全景查看表
表360功能从表的重要基础信息、表对应的治理项问题状态、表对应产出任务关联的基线列表及基线执行情况、表对应任务实例运行情况信息、用户对表做的治理操作等多个维度为您直观展示MaxCompute、E-MapReduce和Hologres表的基本情况。...
请求分布
共以下两个维度：查询维度 查询结果 表 所有表的平均读/写请求总数 total、读/写请求Top3的表及其对应的平均读/写请求数、请求分布饼状图（请求次数越多的表对应的饼状图面积越大）。发起请求的IP 所有IP的平均读/写请求总数 total、读/写...
配置数据质量监控
本案例中，当 ods_raw_log_d 节点将OSS数据同步至ods_raw_log_d表后即对该表对应分区数据进行表行数非0校验，若校验不通过，阻断下游任务执行，及时阻塞脏数据蔓延。在数据质量规则配置页面，单击 关联调度，进入关联调度配置页面。在关联...
PolarDB MySQL版同步至Elasticsearch
如果源库中待同步的表需要执行增加列的操作，您需要先在 Elasticsearch 实例中修改对应表的Mapping，然后在源数据库中执行相应的DDL操作，最后暂停并启动同步任务。由于 PolarDB MySQL版 和 Elasticsearch 实例支持的数据类型不同，数据...
RDS MySQL同步至Elasticsearch
如果源库中待同步的表需要执行增加列的操作，您只需先在Elasticsearch实例中修改对应表的mapping，然后在源MySQL数据库中执行相应的DDL操作，最后暂停并启动DTS同步实例。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库...
表索引诊断
分区表数和存储量 展示当前实例中分区表对应的分区子表和存储量。对于分区子表数量超过1W的分区表，建议使用 冷热分层 的能力，将不常访问的分区子表设为冷存存储，以节约存储成本。对于存储为0的分区表或分区数为0的表，建议删除，否则空...
PolarDB-X 2.0同步至Elasticsearch
其他限制 不支持同步DDL操作，如果源库中待同步的表在同步的过程中，已经执行了DDL操作，您需要先移除同步对象，然后在 Elasticsearch 实例中移除该表对应的索引，最后新增同步对象。请参见 移除同步对象 和 新增同步对象。如果源库中待...
配置数据质量监控
本案例中，当 ods_raw_log_d 节点将OSS数据同步至ods_raw_log_d表后即对该表对应分区数据进行表行数非0校验，若校验不通过，阻断下游任务执行，及时阻塞脏数据蔓延。在数据质量规则配置页面，单击 关联调度，进入关联调度配置页面。在关联...
按应用关联
逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，且该逻辑表需被生产场景的场景节点引用。场景 对应数据开发生产状态的场景。说明 需在数据开发模块部署及运行生产场景成功。场景节点 对应生产场景包含的场景节点。...
CREATE PARTITION TABLE
parent_table 子表对应的父表名称。string_literal 分区键。支持将 TEXT、VARCHAR 以及 INT 类型的数据作为分区键（Partition Key），V1.3.22及以上版本支持将 DATE 类型设为分区键。使用示例。创建分区表的SQL语句示例如下。示例1：在...
PolarDB-X 2.0迁移至Elasticsearch
其他限制 如果源库中待迁移的表需要执行增加列的操作，您只需先在 Elasticsearch 实例中修改对应表的mapping，然后在源数据库中执行相应的DDL操作，最后暂停并启动迁移任务。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
分布式线性扩展
表组内的分区组（Partition Group）包含了这些表对应的分区。表组的概念对于分区的迁移、分裂与合并至关重要。在上面的例子中，如果对user表的某个分区进行迁移而不迁移orders表的对应分区，那么上文中的查询将无法下推到存储节点，导致...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
逻辑表
同一个逻辑表对应的所有物理表的结构（包含字段名、字段类型）必须保持一致，若不一致则无法聚合扩展价值可为用户提供不一致数据预警。说明 逻辑库配置完成后，不支持用户自主调整。新增逻辑表 非平台新增的逻辑表，可以通过搜索 逻辑库 ...
按线上场景关联
逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，且该逻辑表需被公共节点引用，同时关联了该逻辑表的公共节点需被场景引用。数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置...
元数据管理常见问题
问题分析：由于删除OSS上的表数据之前，没有删除数据表对应的元数据，导致表的Schema还存在，但实际的数据已经不存在或已经移动到别的路径。解决方法：可以先修改表的Location为一个存在的路径，然后再删除表。alter table test set ...
流计算实现细节
每个RDD partition在本批次执行完成后（例如读到指定条数或无新数据），将channel对应的最新消费位点持久化到Meta表对应UUID的行中，即填充EndOffset对应UUID的checkpoints，每个批次结束后，新的批次的StartOffset对应的checkpoints都能够...
MySQL分库分表同步至MaxCompute
步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，...
MySQL分库分表同步至MaxCompute
步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，...
Query洞察
同时也可以手动输入表的相关信息（所在实例名、数据库、Schema）以及表的元数据收集时间，即可查看表对应的元数据信息。基本信息 包含表名、是否分区，以及分区对应的信息。表元数据信息 包含表的创建时间，收集时间，存储量等信息。表属性...
数据开发：开发者
本文示例设置 result_table 节点 00：00 开始运行，每小时调度一次，即每小时将 bank_data 表中业务时间（即昨天）对应的小时数据写入 result_table 表对应的小时分区中。资源属性 用于配置任务发布至生产调度时使用的调度资源组。本文示例...
MySQL分库分表同步至Hologres（方案1.0）
综合如上分析结果，最终的表对应关系如下所示：源端分库 源端待同步表 写入的目标表 目标表新增字段 order_db01 t_order_01 cdo_t_order src_datasource src_database src_table t_order_02 t_user_01 cdo_t_user t_user_02 order_db02 t_...
同步时源库为PolarDB-X 1.0的注意事项及限制
在同步期间，请勿对源实例执行扩缩容（比如扩缩容其下挂载的 RDS MySQL，或者虽未扩缩容 RDS MySQL，但 RDS MySQL 中逻辑库表对应的物理库表的分布发生变化）、迁移热点表、变更拆分键操作和变更DDL等操作，否则数据同步任务会失败，或者...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
MySQL分库分表同步至Hologres（方案2.0）
综合如上分析结果，最终的表对应关系如下所示：源端分库 源端待同步表 写入的目标表 目标表新增字段 order_db01 t_order_01 cdo_t_order src_datasource src_database src_table t_order_02 t_user_01 cdo_t_user t_user_02 order_db02 t_...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
MAX_PT
使用示例 示例1：例如tbl是分区表，该表对应的分区为20120901和20120902，且都有数据。则以下语句中 max_pt 返回值为‘20120902’。MaxCompute SQL语句会读出 pt=‘20120902’分区下的数据。命令示例如下。select*from tbl where pt=max_pt...
WAL日志管理
Replication Slot信息中各参数与PostgreSQL的 pg_replication_slots 表中各字段对应，对应关系及解释如下：WAL日志管理参数 pg_replication_slots表对应字段 说明 Slot名称 slot_name Replication Slot的名称。Slot类型 slot_type ...
值班表
当您创建的自定义规则中，报警接收人配置了值班表后，在产生报警时值班表对应的值班人员才会收到报警信息。配置自定义规则，详情请参见 规则管理。配置完值班表后，在产生报警时，前两次仅主值班人会收到报警信息，第三次开始系统将发送...
查看并管理明细及汇总表实例
展开物化节点 展开该逻辑表对应的内部物化节点。鼠标悬停至物化节点显示框内，右键单击或单击图标后，可以查看该物化节点的节点代码、物化节点字段和运行日志。查看操作日志 查看该实例进行相关操作的日志信息。DAG节点支持的操作 明细及...
- 产品推荐
- 这些文档可能帮助您