X-Engine引擎常见问题
使用集群主地址 连接数据库集群，根据需要查询的库名和表名在 XENGINE_SUBTABLE 表中查询该表对应的 TABLE_SPACE_ID，并通过查询到的 TABLE_SPACE_ID 在 INFORMATION_SCHEMA 的 XENGINE_TABLE_SPACE 表中查看该表已使用的extent数量，再...
运营
运营主要面向租户资产管理员，为用户提供数据资产编目、数据资产上线、数据资产下线等能力。通过获取资产元数据信息，并同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员...
功能介绍
本文介绍通过Lindorm Streams实现数据订阅功能，数据订阅功能将云数据库HBase增强版（云原生多模数据库Lindorm）表格的增量数据推送至下游消息队列Kafka，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。推送流程 数据...
写入时序数据
如果要迁移Kafka数据源的数据到表格存储时序表中，您可以通过Tablestore Sink Connector实现数据迁移。具体操作，请参见 使用Tablestore Sink Connector同步Kafka数据。说明 在物联网存储场景中，您可以将Kafka数据、EMQX数据、物联网平台...
配置GoldenDB输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补。...
SQL查询介绍
SQL查询为表格存储的多数据引擎提供统一的访问接口，兼容MySQL的查询语法，适用于在海量数据中进行在线数据访问类型的场景。您可以通过SQL查询功能对表格存储中的数据进行复杂的查询和高效的分析。背景信息 为了满足用户业务平滑迁移到表格...
DataX同步数据
Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通...
DataX同步数据
Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通...
局部事务
使用局部事务功能，创建数据范围在一个分区键值内的局部事务。对局部事务中的数据进行读写操作后，可以根据实际提交或者丢弃局部事务。局部事务通过悲观锁（Pessimistic Lock）实现并发控制。目前局部事务功能处于邀测中，默认关闭。如果...
回收表碎片空间
当在MySQL数据库中频繁地执行INSERT、UPDATE和DELETE语句，会导致数据在磁盘上不再连续存储，形成碎片化的存储空间（即碎片空间）。碎片空间的存在会导致数据库性能下降。常规的回收表空间碎片操作（例如Optimize Table回收表空间）可能会...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
OSS Foreign Table使用技巧
本文介绍OSS Foreign Table相关的使用技巧，例如查看执行计划、收集统计信息、切分大文件以及...相关文档 使用OSS Foreign Table进行数据湖分析 使用OSS Foreign Table分区表 使用OSS Foreign Table导出数据 OSS Foreign Table数据类型对照表
配置Microsoft SQL Server输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
基础使用
catalog org.apache.spark.sql.delta.catalog.DeltaCatalog 常用命令 创建表 CREATE TABLE delta_table(id INT)USING delta;插入数据 INSERT INTO delta_table VALUES 0,1,2,3,4;覆盖写数据 INSERT OVERWRITE TABLE delta_table VALUES 5,6...
使用SDK
您可以使用sqlQuery接口通过SQL访问表格存储。注意事项 目前支持使用SQL查询功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北5（呼和浩特）、华北6（乌兰察布）、华南1（深圳）、西南1（成都）、中国香港...
配置Greenplum输入组件
来源表量包括单表和多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。支持 枚举形式、类正则形式 以及 两者混合形式，如 table_[001-100];table_102。切分键 配合...
文档更新动态（2023年）
支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用MySQL、Hologres和MaxCompute数据源中的表。更新说明 创建FTP数据源 创建Salesforce数据源 创建OSS数据源 管理...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
将自建ClickHouse数据迁移到云ClickHouse中
当您计划将自建数据库ClickHouse迁移到云数据库ClickHouse提升业务的可扩展性和可靠性时，本文档将为您提供实际操作指南以及如何处理可能遇到的问题。参考本文档迁移策略，您将能够高效、安全地完成数据迁移，并最大化云端环境的利益。说明...
MAX_PT
返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。注意事项 max_pt 函数也可以使用标准SQL实现，select*from table where pt=max_pt("table");可以改写为 select*from table where pt=(select max(pt)...
实施步骤
本文档主要介绍如何使用OSS+DLA+Quick BI实现数据的存储、交互式查询分析、输出BI报表的整体数据处理流程。步骤一：创建OSS Schema和表 在DLA中创建OSS Schema和表。示例如下：/创建OSS Schema。CREATE SCHEMA my_schema_name WITH ...
功能更新动态（2023年）
支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用MySQL、Hologres和MaxCompute数据源中的表。创建FTP数据源 创建Salesforce数据源 创建OSS数据源 安全设置 安全...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
同构数据源访问
若您需要访问同阿里云账号下其他 AnalyticDB PostgreSQL版 实例数据，可以使用同构数据源访问功能，将不同实例以外部数据源的形式轻松快速地实现联合查询，在保证数据实时性的同时，有效减少数据冗余。说明 本地实例：创建连接、使用数据的...
数据库迁移
数据库迁移功能通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型：RDS MySQL、PolarDB MySQL版 和ECS自建MySQL。说明 来源库和目标库的数据库类型...
BLOB数据类型（邀测中）
Lindorm宽表SQL支持BLOB数据类型，使用时可以直接将Lindorm宽表中的一个非主键列的数据类型定义为BLOB类型。本文介绍如何使用Lindorm宽表的BLOB数据类型。适用引擎 BLOB数据类型仅适用于宽表引擎。前提条件 宽表引擎为2.4.1及以上版本。...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
2021年
DROP TABLE，RENAME TABLE，TRUNCATE TABLE CREATE INDEX PolarDB PostgreSQL版（兼容Oracle）迁移至自建Oracle 在DB2 for LUW同步或迁移至AnalyticDB PostgreSQL的场景中，支持增量同步或迁移如下DDL操作：CREATE DB,DROP DB CREATE TABLE...
使用Flink SQL消费实时变更数据示例
云原生多模数据库 Lindorm 支持实时数据订阅功能，对实时变更数据进行计算，可以为实时监控，实时报表和流数据分析功能提供有效数据。通过Flink Kafka Connector可以从底层存储消费订阅数据，同时Flink Kafka Connector对订阅数据进行解析...
行级别权限控制
方案设计 表table_order中有商家ID（sellerid），可以根据商家ID进行过滤，限制各个商家只能读取自己的数据，因此需要实现行级别权限控制。您可以通过如下方案实现行级别权限控制需求：方案一（推荐）：在表table_order下游单独给每个商家...
SQL支持功能说明
SQL语句 描述 支持情况 CREATE TABLE 当数据表存在时，创建表的映射关系。支持 当多元索引存在时，创建多元索引的映射关系。支持 ALTER TABLE 添加或者删除属性列。支持 SHOW TABLES 列出当前数据库中的表名称列表。支持 SELECT 查询数据。...
分区表常见问题
如果您的业务场景 不符合普通表快速转分区表的场景，您可以使用 ALTER TABLE PARTITION BY 来重写表中的全部数据，用时大约1~2个小时，实际用时与您的集群规格和业务负载等有关。LINEAR HASH分区和HASH分区有什么差异？HASH分区 即取模哈希...
新建元表
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
新建元表
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
数据展示
注意事项 目前表格存储支持使用Grafana实现数据可视化功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）和新加坡。步骤一：安装表格存储插件 如果使用阿里云Grafana服务，请跳过此步骤。关于使用...
通用云盘IO加速功能技术介绍
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
快速入门
本文描述如何使用Tablestore HBase Client实现一个访问表格存储读写数据的简单程序。说明 当前示例程序使用了HBase API访问表格存储服务，完整的示例程序位于Github的 hbase 项目中，目录位置为 src/test/java/samples/HelloWorld.java。...
使用MaxCompute访问表格存储
MaxCompute表是结构化的数据，而外部表可以不限于结构化数据。表格存储与MaxCompute都有其自身的类型系统，两者之间的类型对应关系如下表所示。Tablestore MaxCompute STRING STRING INTEGER BIGINT DOUBLE DOUBLE BOOLEAN BOOLEAN BINARY ...
对接Grafana
注意事项 目前表格存储支持使用Grafana实现数据可视化功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）和新加坡。步骤一：安装表格存储插件 如果使用阿里云 可观测可视化 Grafana 版，请跳过此...
- 产品推荐
- 这些文档可能帮助您