SQL其他常见问题
System internal error-OTS filtering exception-Ots read range partitions exceeds the specified limit:10000：tableName:xxxx,please check hive conf key 产生原因 MaxCompute单张表支持6万个分区，但是单次查询最多只支持1万个分区。...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 已创建源 RDS SQL Server 实例，支持的版本，请参见 同步方案...
功能概述
本地二级索引：以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。二级索引 全局二级索引 本地二级索引 多元索引 多元索引基于倒排索引和列式存储，可以解决大数据的复杂...
RDS SQL Server同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
逻辑表
抽取规则如下：同一个物理表只能出现在一个逻辑表配置中。同一个逻辑表对应的所有物理表的结构（包含字段名、字段类型）必须保持一致，若不一致则无法聚合扩展价值可为用户提供不一致数据预警。说明 逻辑库配置完成后，不支持用户自主调整...
CREATE TABLE LIKE
CREATE TABLE LIKE语句用于创建一个同Select Query结果相同的表。本文为您介绍CREATE TABLE LIKE的用法。使用限制 Hologres V0.9及以下版本，CREATE TABLE LIKE 语句仅支持复制表结构，不支持复制表属性（主键、索引等）。请在Hologres管理...
SQL查询常见错误排查
表格存储数据表是Free-Schema的，允许在同一个属性列中写入多种类型的数据，但是SQL是Strong-Schema的，每个字段必须具有特定的类型定义。使用SQL时，请确保数据表中属性列的数据类型与SQL中属性列的数据类型相匹配。您可以根据报错信息...
表结构说明
mysql.sql_sharing MySQL库下一张位于InnoDB引擎的系统表 sql_sharing，用于保存需要跟踪的指定的SQL语句。其表结构如下：说明 系统启动时会自动创建 sql_sharing 表，无需您手动创建。CREATE TABLE `sql_sharing`(`Id` bigint(20)unsigned...
数据库灰度
影子表方案是在同一个实例的同一个数据库上建立对应的影子表。在执行SQL的过程中，对灰度流量的SQL进行解析与修改，实现不同环境流量的SQL分别访问对应的表。假设基线环境的表的名称为mse_demo_table，那么Gray环境的流量可以映射到mse_...
RDS SQL Server同步至DataHub
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 阿里云流式数据服务DataHub。前提条件 已创建源 RDS SQL Server 实例，创建方式请参见 快速创建RDS SQL Server实例。重要 目前源RDS SQL Server支持的版本，请...
自建SQL Server同步至PolarDB MySQL版
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 PolarDB MySQL版 集群。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建目标 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 和 ...
创建和管理自定义存储表
可设置为 1个月、2个月、3个月、6个月、1年、不过期 或 更多。如果选择 更多，则需输入 时间单位 和 时间值。时间单位 年 否 数据存储时长 设置为 更多 时，数据存储的时间单位。可选：年、月、日。时间值 10 否 数据存储时长 设置为 更多 ...
Beam使用（公测）
Auto Optimize 当您的Beam表有多次写入、更新或删除操作时，随着时间的推移，表中会存在大量的过期数据，从而导致扫描性能下降。Auto Optimize是后台的数据优化进程，会自动对您的Beam表进行过期数据回收，小文件合并和数据按照排序键聚集...
Delta Lake 快速入门
读一个表 在这个部分：显示表格历史记录 查询表的早期版本（时间行程）您可以通过在DBFS（"/mnt/delta/events"）或表名（"event"）上指定路径来访问Delta表中的数据：Scala%spark SELECT*FROM delta.`/mnt/delta/events` 或%spark val ...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建...
DMS数据管理预案助力业务大促
行级管控 设置表中数据行的权限，同一个表的数据，不同人员仅能访问特定数据行。具体操作，请参见 行级管控。设置用户访问元数据权限 可实现避免指定人员接触到一些无权限的元数据（包含数据库、实例、表等）。具体操作，请参见 元数据访问...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
ANALYZE和AUTO ANALYZE
hg_experimental_auto_analyze_start_time Auto-Analyze在每天运行的开始时间 说明 需要与 end_time 是同一时区，并且 start time 要小于等于 end_time。V1.1.54及以上版本 00:00+0800 修改为仅需要在0～6点执行Auto-Analyze，白天内外部表...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您...
DQL操作常见问题
id1 values1 id2 values2 1 b 1 B 1 b 1 A 1 a 1 B 1 a 1 A 2 c NULL NULL id=1的数据两边都有，执行笛卡尔积，返回4条数据。id=2的数据只有table1有，返回了1条数据。id=3的数据只有table2有，table1里没数据，不返回数据。解决措施 确认...
配置流程
创建ETL任务具体如下：任务 说明 参考文档 配置源库信息 您可以选择 输入/维表 节点的一个或多个数据类型，并需要为每个源库依次配置以下信息：说明 您可以多次选择同一类型的数据类型。配置节点信息。配置字段信息。可选：如果您选择的库...
增强E-R
示例SQL中trade表的is_pay字段影响user_trade表中amt字段，影响条件为 trade.is_pay=1。任务编排E-R 任务编排E-R是通过任务编排的调度血缘功能来构建资产图谱。如下操作步骤为您演示如何通过任务编排E-R能力实现增强E-R。使用DMS的任务编排...
SQL Server迁移上云指南
说明 查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息？无主键和无唯一约束的表可能出现重复数据，若需要保留无主键或无唯一约束的表，则不建议使用此方案。DTS使用fn_log函数拉取和解析日志，该函数稳定...
表批读写
10-18T22:15:12.013Z' SELECT*FROM delta.`/mnt/delta/events` VERSION AS OF 123 DataFrameReader选项 您可以使用DataFrameReader从特定版本的Delta表中创建DataFrame Python%pyspark df1=spark.read.format("delta").option(...
SQL错误码（ODPS-01CCCCX）
这个错误是由元数据产生竞争导致，向同一个分区同时多次执行读写操作容易产生此类错误。处理方法：在MaxCompute还没有锁机制的情况下，不要同时对一个表执行操作。ODPS-0110061:Failed to run ddltask-AlreadyExistsException(message:...
概述
支持的Sequence类型及特性 PolarDB-X 目前共支持如下三种Sequence类型：类型（缩写）全局唯一 连续 单调递增 同一连接内单调递增 数据类型 可读性 单元化能力 New Sequence（NEW）是 是 是 是 所有整型 好 否 Group Sequence（GROUP）是 否...
迁移时源库为SQL Server的注意事项及限制
如果迁移的源数据库类型为SQL Server，如自建SQL Server、RDS SQL Server，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为SQL Server的迁移方案概览 根据如下迁移方案，查看迁移任务的...
影子表同步
数据管理DMS 的影子表同步功能支持根据源表的表结构自动在当前库中创建影子表（新的数据表名是通过在源表名上增加前缀或后缀的方式生成的），支持周期性同步，适用于全链路压测等场景。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、...
RDS SQL Server迁移至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
创建压测场景
说明 如果要在一个JDBC请求节点中执行多条SQL语句，查询类型必须选择 Callable Statement，每条语句用半角分号;隔开，JDBC URL后还要添加?allowMultiQueries=true。查询类型 JDBC中被压测SQL语句类型，包括：Select Statement：适用于JDBC...
通过DataWorks周期性导入MaxCompute数据最佳实践
CALL SET_TABLE_PROPERTY('"public"."holo_dwd_product_movie_basic_info"','dictionary_encoding_columns','"movie_name:auto","director:auto","scriptwriter:auto","area:auto","actors:auto","type:auto","movie_length:auto","movie_...
如何支持超大事务
测试所用实例规格 使用以下 PolarDB-X 实例进行测试：PolarDB-X 版本 polarx-kernel_5.4.11-16301083_xcluster-20210805 节点规格 4核16GB 节点个数 4 创建一个规格为4C16G的ECS连接实例进行测试，该ECS与实例位于同一网段下，由同一个虚拟...
UDT概述
UDT把这个过程封装起来，将这个过程变得看起来和在同一个JVM中执行的效果几乎一样。从上述示例中，您可以看到子查询的结果允许UDT类型的列。例如上面变量a的x列是 java.math.BigInteger 类型，而不是内置类型。UDT类型的数据可以被带到下...
新建MaxCompute SQL类型的公共节点
MaxCompute SQL节点是离线节点，运行于MaxCompute类型的云计算资源之上，可通过输入SQL语句处理MaxCompute类型的数据源。本文介绍如何新建MaxCompute SQL类型的公共节点。前提条件 已新建MaxCompute类型的云计算资源，具体操作，请参见 ...
新建MaxCompute SQL类型的公共节点
MaxCompute SQL节点是离线节点，运行于MaxCompute类型的云计算资源之上，可通过输入SQL语句处理MaxCompute类型的数据源。本文介绍如何新建MaxCompute SQL类型的公共节点。前提条件 已新建MaxCompute类型的云计算资源，具体操作，请参见 ...
DAO 存储
tableName 可空，应对同一配置文件操作相同格式的多张表的情况。比如聊天消息分表处理，可以调用 DAO 对象的 setTableName 方法设置需要操作的表名。version 是配置文件的版本号，格式为 x.x，创建 table 后，会以 tableName 作为 key，把...
HDFS
创建虚拟集群时，绑定的数据源网络必须和HDFS集群在同一个VPC下面。以下示例是一个简单的CSV文件，您可以在本地创建一个新的文本文件 example.txt，在其中粘贴如下内容：7,8,9 然后执行如下命令将文件上传到HDFS。hadoop fs-mkdir-p hdfs:/...
基本概念
一个逻辑表会对应多个物理表，数据访问代理在路由时，会将逻辑表名替换成物理表名。逻辑表 logic table 同数据表。物理数据库 physical database 真实的物理数据库。可能是 RDS（MySQL）、OceanBase、Oracle 等。目前支持 RDS（MySQL）和 ...
RDS MySQL全文检索相关问题及处理
执行如下SQL语句，查看当前表中相关的记录情况。select*from my_ft_test_01 where id>=117;系统显示类似如下，good和Hello都出现20次。执行如下SQL语句，查看使用查询扩展的结果。select*from my_ft_test_01 where math(name)AGAINST('孙...
- 产品推荐
- 这些文档可能帮助您