CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
配置说明
启动Tablestore Sink Connector时，您需要通过键值映射向Kafka Connect进程传递参数。通过本文您可以结合配置示例和配置参数说明了解Tablestore Sink Connector的相关配置。配置示例 当从Kafka同步数据到数据表或者时序表时配置项不同，且...
Kafka单表实时入湖OSS（HUDI）
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与OSS表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个OSS表列，不允许多个上游列映射到一个OSS表列，当上游列未配置到OSS表列的映射时，...
岭回归训练
岭回归（Tikhonov regularization）算法是对不适定问题进行回归分析时，最常用的正则化方法。岭回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍岭回归训练组件的配置方法。使用限制 支持的计算...
2022-03-04版本
通过对分布式表的本地表进行直接写入的方式，可以显著提高写ClickHouse分布式表的吞吐量。ClickHouse结果表 优化作业诊断规则和界面 新增20多种诊断规则，全面分析作业的运行状态。根据作业的实际情况，给出高、中、低三种风险等级提示。...
Tablestore外部表
背景信息 表格存储（Tablestore）是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储和实时访问，详情请参见 Tablestore文档。您可以通过DataWorks配合MaxCompute对外部表进行可视化的创建、搜索、查询、配置...
通过控制台使用宽表模型
通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作。前提条件 已获取用于操作表格存储的阿里云账号或者RAM用户的登录信息。如果未注册...
Stage级别诊断结果
对于Join条件存在数据倾斜的场景，如果不广播小表，那么会出现如下图的执行流程：假设上图中的表 Tsmall 在 b 字段上存在严重数据倾斜，那么当表 Tbig 以 a 字段均匀地分布在 AnalyticDB MySQL版 的存储节点上时，对 Tbig 表的重分布会存在...
INSERT ON CONFLICT(UPSERT)
不同表存储格式（行存、列存、行列共存）在更新时的细节处理会略有不同，这就导致不同存储模式的表在更新时，性能会有不同。而根据业务的需求，INSERT ON CONFLICT又可以分为 InsertOrIgnore、InsertOrReplace、InsertOrUpdate，三者的具体...
多元索引最佳实践
如果需要在数据表上根据主键前缀进行批量数据的拉取，则可以进行一些特殊的主键设计，然后查询数据时直接在数据表上进行GetRange操作来快速拉取数据。具体操作，请参见 读取数据。如果要经常使用多元索引TermQuery查询某一字段的值，例如...
高级配置
hostNetwork 配置 说明 使用 hostNetwork 时，为避免端口监听冲突，1 个节点最多只能挂载 1 个 Pod。在某些场景下，需要将 Pod 的网络从容器网络修改为宿主机网络。比如，需要解决网络的连通性问题等。如果使用 hostNetwork 配置网络，在...
表格数据管理
最多只支持3张表相互关联，且A表的一列不能关联B表的同时又被C表关联，可以A表的一列被B表和C表同时关联。主属性和业务属性的表头不允许删除 行的增删查 批量刷新数据 点击“更新数据”按钮，上传更新后的Excel文件，进行批量数据更新；
INSERT
本文介绍了INSERT语法的简介、使用方法以及示例等内容。简介 INSERT 将新行插入到一个表中。可以插入一个或者更多由值表达式指定的行，或者插入来自一个查询的零行或者更多行。目标列的名称可以以任意顺序列出。如果没有给出列名列表，则有...
通过整库迁移配置集成任务
同步时将自动生成目标库表的后缀，如：表名后缀填写_prod，表名为 dataphin，则生成的目标库表名为 pre_dataphin_prod。字段名称规则：单击 新增规则，在规则项中填写 来源字段替换字符串 和 目标字段替换字符串。如：需将字段名 datawork ...
ALTER TABLE
修改表操作。修改表的所有人 修改表的所有人，即表Owner。命令格式 alter table<table_name>changeowner to;参数说明 table_name：必填。待修改Owner的表名。new_owner：必填。修改后的Owner账号。使用示例-将表test1的所有人修改为ALIYUN$...
错误码和状态码说明
例如，当服务器无法识别请求方法时，服务器可能会返回此状态码。502 错误网关 服务器作为网关或代理。云监控从运营商站点收到无效响应。ECS探测点或运营商探测点收到目标站点的无效响应。503 服务不可用 目前无法使用服务器。可能原因是...
分场景排错指引
当Flink无法将数据写入到结果表时，建议从以下几个方面进行排查并处理：确认下游存储和Flink全托管之间网络是否连通。Flink全托管仅支持访问相同地域、相同VPC下的存储。如果您有访问跨VPC存储资源或者通过公网访问Flink全托管的特殊需求，...
访问列存数据
列存即列式存储，是一种将数据按列进行存储和处理的数据管理方式。Lindorm计算引擎支持将半结构化、结构化数据以列存方式进行存储，相较于行式存储，列式存储的查询响应时间更短，消耗IO更少。本文介绍如何通过计算引擎访问Lindorm列存数据...
6.0版本与7.0版本兼容性注意事项
AnalyticDB PostgreSQL 6.0版 与 AnalyticDB PostgreSQL 7.0版 存在兼容性差异，当您需要将实例从6.0版本升级到7.0版本时，请先根据本文了解6.0版本与7.0版本兼容性注意事项。数据类型 AnalyticDB PostgreSQL 7.0版 删除了以下被SQL标准...
从RDS同步至MaxCompute
DTS将源库中待同步表的存量数据，全部同步至MaxCompute中的目标表名_base表中（例如从源库的customer表同步至MaxCompute的customer_base表），作为后续增量同步数据的基线数据。说明 该表也被称为全量基线表。增量数据同步。DTS在...
表批读写
与不指定路径的内部表不同，当您使用DROP表时，不会删除外部表的文件 如果运行CREATE TABLE的位置已经包含使用Delta Lake存储的数据，Delta Lake将执行以下操作：如果只指定表名和位置，例如：SQL%sql CREATE TABLE events USING DELTA ...
创建与释放全球多活数据库集群
如同步对象为表级别，且需进行编辑（例如更改其表名和列名）后再写入目标库，则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置任务。其它限制 Binlog日志：需开启，...
使用DTS同步
通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库数据（例如自建MySQL或RDS MySQL）同步到表格存储（Tablestore）实例，轻松实现数据的流转。前提条件 已创建RAM用户并为RAM用户授予AliyunOTSFullAccess权限（管理...
如何优化高并发IM系统架构
应用服务器接收到消息后，直接将消息写入表格存储，对于主键自增列message_id，在写数据时不需要填写具体的值，只需要填充一个特定的占位符即可，此值会在表格存储系统内部自动生成。新架构中自增操作是在表格存储系统内部处理的，就算多个...
数据引入层（ODS）
命名时需要特别注意冲突处理，例如不同业务系统的表可能是同一个名称。为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过添加_col 后缀解决。ODS层设计规范...
主键与唯一键（AUTO模式）
本节介绍了在AUTO模式数据库中，判断表的主键是Global主键还是Local主键，表的唯一键是Global唯一键还是Local唯一键的方法。主键 在 PolarDB-X 中，主键分为Global主键与Local主键。当创建出的主键：能保证全局唯一，就称为Global主键；只...
数据引入层（ODS）
命名时需要特别注意冲突处理，例如不同业务系统的表可能是同一个名称。为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过添加_col 后缀解决。ODS层设计规范...
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
CREATE TABLE
当聚集索引键涉及多个列时，数据会先根据第一个列的值排序，在第一个列的值相同时，按第二个列的值进行次级排序。所以 CLUSTERED KEY index(id,name)与 CLUSTERED KEY index(name,id)是不同的聚集索引。如果字段值较长，例如长达十几KB或几...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据替换目标表已有数据，在目标表存在多个数据约束的情况下，数据替换可能会替换掉多条目标记录 如果写出数据和目标存储已有数据没有...
通过移动端探测目标站点的网络质量
云监控通过站点监控的探测点（请求方）模拟最终用户的访问行为，从而获得各地域探测点到目标地址（监控地址）的访问数据。当您希望通过蜂窝网络探测目标站点时，用移动端探测。前提条件 请确保您已创建报警联系人和报警联系人组。具体操作...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
流计算
通过在E-MapReduce集群中使用Spark SQL访问表格存储。对于流计算，基于通道服务，利用CDC（数据变更捕获）技术完成Spark的mini batch流式消费和计算，同时提供了at-least-once一致性语义。前提条件 已创建 EMR 集群。具体操作，请参见 EMR...
文本内容风控解决方案
无需填写 附加列 输入表中需要添加到输出表的列，多个列之间使用半角逗号（,）分隔。content,qince_result batch Size 预测过程中的批处理大小。32 使用自定义模型 如果没有上游组件，可以自定义一个OSS目录中训练好的模型进行预测。本案例...
主键与唯一键（DRDS模式）
本节介绍了在DRDS模式数据库中，判断表的主键是Global主键还是Local主键，表的唯一键是Global唯一键还是Local唯一键的方法。主键 在 PolarDB-X 中，主键分为Global主键与Local主键。区别如下：能保证全局唯一，就称为Global主键；只保证...
PolarDB PostgreSQL版架构介绍
PolarDB PostgreSQL版 是一款阿里云自主研发的企业级数据库产品，采用计算存储分离架构，兼容PostgreSQL与Oracle。PolarDB PostgreSQL版 的存储与计算能力均可横向扩展，具有高可靠、高可用、弹性扩展等企业级数据库特性。同时，PolarDB ...
- 产品推荐
- 这些文档可能帮助您