在Dataphin的SQL中如何自动解析出物理表上游依赖
产品名称 Dataphin 产品模块 代码任务 概述 本文描述如何为SQL自动解析出上游依赖的物理表？问题描述 当您进行SQL开发过程中，从物理表获取数据时，需要将物理表添加为上游依赖，确保在调度过程中，引用的物理表中存在数据。问题原因 NA ...
管理问题数据
背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据表原表名}_dirtydata_dw_system_dqc。问题数据表所属空间：根据当前表所...
处理存储空间不足问题
优化空间问题 自动空间优化：开启该功能后，数据库实例空间不足时，DAS会自动扩展存储空间。RDS MySQL 和 RDS SQL Server 数据库实例请参见 自动空间扩展。RDS PostgreSQL 数据库实例请参见 存储自动扩容。空间碎片自动回收：空间自动优化...
MySQL分库分表同步至MaxCompute
自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，简化大部分配置操作。如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以...
MySQL分库分表同步至MaxCompute
自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，简化大部分配置操作。如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以...
功能特性
自动SQL限流 自动SQL优化 自动识别问题SQL，生成索引优化建议，并在不引发锁表的情况下自动创建索引。自动SQL优化 智能压测 确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库...
空间碎片自动回收
DAS支持自动回收MySQL中达到阈值（如表空间大小、碎片率）的表的空间碎片。回收在实例可维护时间段执行，且会检查实例负载，以减少对业务影响。前提条件 实例已开启DAS 企业版，详情请参见 管理DAS经济版和企业版。实例类型为：RDS MySQL ...
全局二级索引
本文将介绍全局二级索引（Global Secondary Index，GSI）的主要功能及常见问题。功能介绍 全局二级索引（Global Secondary Index，GSI）支持按需增加拆分维度，提供全局唯一约束。每个GSI对应一张索引表，使用XA多写保证主表和索引表之间...
自动SQL优化
数据库自治服务DAS支持自动SQL优化，相比传统的优化方式，能够自动识别问题SQL，生成索引优化建议，并在不引发锁表的情况下自动创建索引。前提条件 实例为如下版本：RDS MySQL 8.0 高可用系列或集群系列 RDS MySQL 5.7 高可用系列或集群...
自动SQL优化
数据库自治服务DAS支持自动SQL优化，相比传统的优化方式，能够自动识别问题SQL，生成索引优化建议，并在不引发锁表的情况下自动创建索引。前提条件 目标数据库实例为：RDS MySQL 高可用系列、三节点企业系列、集群系列。PolarDB MySQL版 的...
2023年
修复分区主表删除Constraint后，子表未删除，导致表结构不一致的问题。V6.6.0.0 类别 功能 功能描述 相关文档 新增 向量检索 兼容pgvector协议。SDK为pgvector插件的业务可以无缝迁移到 AnalyticDB PostgreSQL版 向量数据库。支持单个向量...
空间分析
及时发现并解决空间问题是数据库运维的重要任务。通过空间分析功能，您可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，帮助您及时发现数据库中的空间异常，避免...
配置并管理实时同步任务
单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标MaxCompute表。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认处理策略，您也...
常见问题
快速入门常见问题如下：新创建的MaxCompute项目为什么不支持数据类型自动隐式转换呢？在MaxCompute中创建表的方式有哪些？MaxCompute支持通过什么方式运行SQL语句?数据导入方式有哪些？误删除表数据如何恢复？不同项目的表是否可以相互引用...
2021年
修复在分区表数量多的情况下，执行异常终止的问题。Laser计算引擎的使用 用户最大连接数 AnalyticDB PostgreSQL版 用户最大连接数提升：2C16G规格由300提升至550。4C32G规格由300提升至750。8C64G规格由400提升至950。约束与限制 AUTO ...
2021年
2021-02-27 空间分析 RDS MySQL 自动回收表空间中的碎片 DAS可自动识别表空间中的碎片，并且在用户授权的情况下，在运维窗口期自动回收表空间中的碎片，帮助您提升数据库性能和降低存储成本。2021-02-01 空间碎片自动回收 2021年1月 引擎 ...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标Hologres表...
空间分析
您可以通过DAS的空间分析功能直观地查看某个数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，本文以 RDS MySQL 数据库为例介绍如何使用空间分析功能。前提条件 支持如下数据库...
主键与唯一键（AUTO模式）
本节介绍了在AUTO模式数据库中，判断表的主键是Global主键还是Local主键，表的唯一键是Global唯一键还是Local唯一键的方法。主键 在 PolarDB-X 中，主键分为Global主键与Local主键。当创建出的主键：能保证全局唯一，就称为Global主键；只...
应用故障自动诊断
在EDAS中进入应用总览页面时，会按照您自定义的时间段对该应用的运行情况做一个自动诊断。如果发现问题，则会在应用总览页面上方闪现一个红色盾牌图标，单击该图标即可弹出故障诊断报告，故障报告上的故障定界和根因分析可以帮助您更好地...
配置并管理实时同步任务
如果您前一步中目标数据源使用的 Topic建立方式 为 自动建Topic，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标DataHub Topic。运行资源设置。在 运行资源设置 页面，配置各项参数。参数 描述 来源端读取支持最大连接数 ...
LogHub（SLS）实时ETL同步至Hologres
保存 建表结构 或 选择已有表时，会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，可根据需要进行调整秒支持一个游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到Hologres表列的映射...
空间分析
您可以通过DAS的空间分析功能直观地查看某个数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，本文以RDS MySQL数据库为例介绍如何使用空间分析功能。前提条件 目标数据库为：RDS...
MySQL整库实时同步至OSS数据湖
如果您的数据库表数量不多，您可以直接在右侧预览模块手动勾选待同步的数据库表，然后添加到已选库表中，此时页面会根据您的勾选情况自动在左侧添加限定条件。如果您有多个数据源、数据库、数据表，您可以在左侧手动添加限定条件来进行过滤...
配置并管理实时同步任务
单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标 AnalyticDB for MySQL 表。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认...
EMR Spark功能增强
修复读取大量空文件时栈溢的出问题。通过代码去除对HAS显式依赖或升级HAS依赖。EMR-4.3.0 Spark 2.4.5 升级至2.4.5版本。升级关联的Delta Lake至0.6.0版本。修复开启Ranger Hive后，Pyspark无法正常运行的缺陷。EMR-3.36.1 Spark 2.4.7 ...
号码百科使用FAQ
本文为您介绍使用号码百科服务时的常见问题。问题概览 查询准确性如何？返回错误码后重试结果是否一样？unknown是什么意思？未启用、未开卡、挂失，返回什么？功能性停机是什么意思？什么情况会返回操作受限？什么情况会返回运营商限制？...
RDS MySQL助力MySQL 5.7升级8.0
较新版本的MySQL 8.0实例（8.0.13及之后的版本），共享表空间（系统表空间和通用表空间）中不允许存在InnoDB类型的分区表，因此在进行升级前需要将共享表空间移动至独立表空间。MySQL 8.0实例中，GROUP BY子句不支持ASC或DESC排序规则，...
数据开发常见问题
Spark：Spark常见问题 外部表：外部表常见问题 安全管理相关：权限管理常见问题 安全配置常见问题 运维管理：Information Schema常见问题 小文件优化及作业诊断常见问题 其他运维常见问题 下载数据相关：如何下载超过1万条的表数据？...
挂载命令参数设置类问题
什么情况会引发网络切换或者后端服务的HA倒换？为什么需要重新挂载？还有没有其他的方案？其他问题 在控制台使用一键挂载功能时，挂载参数怎么填写？我的业务场景需要变更默认挂载参数，应该怎么操作？为什么要使用noresvport参数挂载NAS？...
V5.1.x系列实例版本说明
修复SHOW FULL SLOW指令在某些情况下会报SLOW表不存在的问题。修复Server Prepare协议下，有小概率出现权限校验错误的问题。修复使用拆分函数RIGHT_SHIFT和RANGE_HASH的拆分表在INSERT时，某些情况下出现的多语句无法执行的问题。V5.1.28-...
表结构配置管理
选择工作空间>配置管理>数据接入管理>数据导入>表结构配置，已配置的数据表列表如下图所示。表结构配置列表支持查看、编辑、查看调度任务、移除，但通过API导入的表结构配置（创建者是API同步）不支持编辑、移除。查看表结构配置 单击 查看...
回收表碎片空间
本文为您介绍在DMS中提交无锁结构变更工单来自动整理并回收碎片空间，有效避免因数据库变更而导致的锁表阻塞业务问题，提高数据库性能和效率，并降低存储成本。前提条件 已拥有目标数据库中表的变更权限。更多信息，请参见 查看我的权限 和...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
管理健康报告
Top导入热表潜在小文件分析 针对表级别的数据导入情况，系统将会对每个表的所有导入任务生成的数据文件进行深入分析，以评估其潜在的小文件问题严重程度，并据此计算出一个影响得分。根据该得分从高至低排序，选出Top 20个受小文件问题影响...
Kafka单表实时入湖OSS（HUDI）
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与OSS表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个OSS表列，不允许多个上游列映射到一个OSS表列，当上游列未配置到OSS表列的映射时，...
MySQL一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标文件映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
MySQL一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标文件映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
小版本更新说明
优化配置，减少RegionServer被写出OOM的情况出现，减少大范围scan对服务端的内存消耗。优化内核。1.4.6.3：修复IndexTool的数据表为小写表名字时找不到索引表问题。修复客户端配置时区失效问题（当前默认时区GTM）。优化默认配置参数，更...
- 产品推荐
- 这些文档可能帮助您