PolarDB-X 1.0同步至PolarDB MySQL版
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
性能洞察（新版）
说明 DAS会根据SQL的复杂程度、对应表的数据量、数据库负载等进行SQL诊断，诊断建议的返回时间可能会超过20秒。完成诊断后，SQL诊断引擎会给出诊断结果、优化建议和预期优化收益，您可以根据诊断结果确认是否采纳建议。您也可以单击 专家...
逻辑表表达式
数据库下枚举 db_01.test_[1,2,4,6,7],db_02.test_[2,3,5,7,9],db_03.test_[1,4,6,7,9]：在3个数据库下各创建5张表。数据库下不均等表 db_01.test_[1-7],db_02.test_[10-15]：在数据库db_01下创建7张表，在数据库db_02下创建6张表。
性能洞察（新版）
说明 DAS会根据SQL的复杂程度、对应表的数据量、数据库负载等进行SQL诊断，诊断建议的返回时间可能会超过20秒。完成诊断后，SQL诊断引擎会给出诊断结果、优化建议和预期优化收益，您可以根据诊断结果确认是否采纳建议。您也可以单击 专家...
性能洞察（新版）
说明 DAS会根据SQL的复杂程度、对应表的数据量、数据库负载等进行SQL诊断，诊断建议的返回时间可能会超过20秒。完成诊断后，SQL诊断引擎会给出诊断结果、优化建议和预期优化收益，您可以根据诊断结果确认是否采纳建议。您也可以单击 专家...
PolarDB-X 1.0同步至阿里云消息队列Kafka
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
RDS MySQL同步至Elasticsearch
术语及概念对应关系 Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的组织和结构（Schema）操作步骤 进入...
性能洞察（新版）
说明 DAS会根据SQL的复杂程度、对应表的数据量、数据库负载等进行SQL诊断，诊断建议的返回时间可能会超过20秒。完成诊断后，SQL诊断引擎会给出诊断结果、优化建议和预期优化收益，您可以根据诊断结果确认是否采纳建议。您也可以单击（专家...
PolarDB-X 2.0同步至Elasticsearch
如果源库中待同步的表需要执行增加列的操作，您只需先在 Elasticsearch 实例中修改对应表的mapping，然后在源数据库中执行相应的DDL操作，最后暂停并启动同步任务。执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据...
Hive数据源
通过连接Hive Metastore，云数据库 SelectDB 版 可以自动获取Hive的库表信息，进行数据查询、分析。除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为...
管理平台系统表和时序/快照表
导出存储表数据 在 时序/快照表 页签的存储表，单击对应表右侧 操作 列的 导出 或 更多>导出，执行以下操作，可导出数据到本地。重要 同一时间只能创建一个进行中的导出任务，每天仅支持生成三个导出任务，每个任务支持下载三次。在 导出...
缺少部分库表信息的原因
如果RDS MySQL数据库，在使用DAS空间相关功能的时候，发现某些库或者表没有显示出来，可能是因为您授予给DAS的数据库账号没有对应库表的Select权限。查看方式 直接通过命令确认：例如账号名称是das_test@'%'，show grants for das_test@'%'...
MySQL分库分表同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
MySQL分库分表同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
DescribeMetaList-查看支持恢复的库表信息详情
2020-10-04T01:40:00Z GetDbName string 否 传入具体的数据库名称（如 test_db）以获取目标数据库所有支持恢复的数据表名称。说明 每次仅支持传入一个数据库名称。若该参数留空，您可以查看当前备份集下所有支持恢复的数据库名称，但无法...
使用MaxCompute控制台（离线）
同时您需拥有对应的数据权限，如：上传至已有表：需具备对应表的数据写入权限。上传至新增表：需具备对应项目的创建表权限。创建MaxCompute项目详情请参见 项目管理（新版），授权操作请参见 权限管理。基于阿里云对象存储OSS上传数据时，...
WAL日志管理
true：临时Slot false：永久Slot 数据库名称 database Replication Slot所处的数据库。WAL堆积量 无对应字段。该参数取值由RDS内核计算所得。计算方法 SELECT pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_insert_lsn(),restart_lsn))AS...
Quick BI
端口 上述数据库地址对应的端口号。数据库 AnalyticDB MySQL版 集群中的数据库名字。账号 AnalyticDB MySQL版 集群中创建的账号：高权限账号。普通账号。密码 上述账号对应的密码。完成上述参数配置后，单击 连接测试 测试连通性，测试通过...
FineReport
在弹出的数据库查询对话框中，找到AnalyticDB对应的数据源和对应表，写入数据查询语句，新建数据集ds1。如下示例，查询 select*from demo_sales，查询并取出demo_sales表中的所有数据。通过聚合查询选出聚合的数据集。如新建数据集 ds2，...
Canal
在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Canal格式的JSON消息...
版本发布说明
修复已建AUTO数据库 SHOW CREATE DATABASE 命令在部分场景下会报NPE的问题。修复私有协议chunk传输在类型推导有误时，字符串转整型存在负号时不能识别的问题。修复数据库表数量过多时，扩缩容流程可能会失败的问题。修复BKAJoin场景下的...
自定义血缘配置
提示：血缘仅在配置任务提交和发布成功时更新，后续输入输出表结构变更不会自动触发血缘更新 根据业务需要选择对应表中的 指定字段。在 配置输出入表 页面，进行参数配置，操作完成后单击 确定。单击 确定，完成血缘的配置。输出表的配置和...
自定义血缘配置
提示：血缘仅在配置任务提交和发布成功时更新，后续输入输出表结构变更不会自动触发血缘更新 根据业务需要选择对应表中的 指定字段。在 配置输出入表 页面，进行参数配置，操作完成后单击 确定。单击 确定，完成血缘的配置。输出表的配置和...
配置目标库信息
由于ETL功能暂不支持结构迁移，所以您需要根据转换条件在目标库侧完成对应表结构的创建。例如A表中包含字段1、字段2和字段3，B表中包含字段3、字段4和字段5，对A表和B表通过做JOIN操作后，需要输出字段1、字段2、字段3、字段4和字段5，则...
X-Engine引擎常见问题
假设需要查询的表在数据库 test 中，表名为 test1，来查询表数据估算后的压缩比。SQL语句如下：SELECT TABLE_NAME,SUBTABLE_NAME,SUM(EXTENTS*APRROX_CMP_RATIO)/SUM(EXTENTS)FROM INFORMATION_SCHEMA.XENGINE_SUBTABLE WHERE TABLE_NAME='...
查看表资产详情
在 资产目录 页面，单击 数据表 页签，选择下面任意一种方式查找对应表资产。在关键词搜索框，输入资产名称或字段名称搜索表资产。在数据表目录区域，选择该资产对应目录，单击 图标，根据页面提示，输入相关信息筛选表资产，并在筛选结果...
查看表资产详情
在 资产目录 页面，单击 数据表 页签，选择下面任意一种方式查找对应表资产。在关键词搜索框，输入资产名称或字段名称搜索表资产。在数据表目录区域，选择该资产对应目录，单击 图标，根据页面提示，输入相关信息筛选表资产，并在筛选结果...
配置MaxCompute输出
关于MaxCompute表的介绍可参考文档：分区 根据字段内容动态分区：通过指定源端表某字段与目标MaxCompute表分区字段对应关系，实现源端对应字段所在数据行写入到MaxCompute表对应的分区中。例如：配置MaxCompute表分区字段值来源为源端字段A...
全景查看表
表360功能从表的重要基础信息、表对应的治理项问题状态、表对应产出任务关联的基线列表及基线执行情况、表对应任务实例运行情况信息、用户对表做的治理操作等多个维度为您直观展示MaxCompute、E-MapReduce和Hologres表的基本情况。...
从SLS同步
已创建与SLS数据结构和类型对应的云数据库ClickHouse表。如何创建，请参见 创建表。操作步骤 登录 云数据库ClickHouse控制台。在集群列表页面，选择 默认实例列表，单击目标集群ID。在左侧导航选择日志投递，单击新建SLS日志投递。在 SLS...
逻辑表
注意事项 逻辑表的操作必须在对应的逻辑库下进行。说明 逻辑表可当做单表直接使用。SQL Console数据查询、数据导出、数据变更功能支持逻辑表操作。若需要申请数据源权限，可直接申请逻辑库权限，即可开通其关联的所有物理库的权限。使用...
路由算法
本文介绍路由算法的定义、使用场景等内容。定义 路由算法是减少路由时开销的一种算法，可以通过给逻辑库配置路由算法，实现...使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应的逻辑表，修改路由算法。
配置流程
由于ETL功能暂不支持结构迁移，所以您需要根据转换条件在目标库侧完成对应表结构的创建。例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN...
逻辑表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
逻辑表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
创建同步MaxCompute
1）针对TUPLE类型topic，MaxCompute目标表数据类型需要和DataHub数据类型相匹配，具体的数据类型映射关系如下：MaxCompute DataHub BIGINT BIGINT STRING STRING BOOLEAN BOOLEAN DOUBLE DOUBLE DATETIME TIMESTAMP DECIMAL DECIMAL ...
TableTunnel
TableTunnel是访问MaxCompute Tunnel服务的入口类，仅支持表数据（非视图）的上传和下载。TableTunnel接口定义及说明 TableTunnel接口定义如下，详情请参见 Java-sdk-doc。public class TableTunnel { public DownloadSession ...
管理预置指标表
生成预置指标数据API 开启预置指标表统计数据后，对应预置指标表会自动实例化生成数据API。您可以使用对应数据API获取该预置指标表统计的指标数据。在 预置指标 页签，单击该预置指标表对应 操作 列的 数据预览，可查看预置指标表统计的...
数据建模
逻辑表数据质量的强规则和弱规则有什么区别？逻辑表质量规则都支持哪些云计算资源？目前包含MaxCompute、Hive、ApsaraDB for RDS、DataHub Service、PostgreSQL、AnalyticDB PostgreSQL、Kafka。逻辑表质量规则都包含哪些？主要包含表规则...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
- 产品推荐
- 这些文档可能帮助您