时序引擎应用开发简介
使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序，您可以按照以下步骤进行应用迁移：应用适配 修改应用程序中的连接字符串，连接的目标从原有的...
同步时源库为SQL Server的注意事项及限制
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
通过DTS实现数据库的垂直拆分
由于 简易拆分方案 需要短暂暂停业务并暂停向数据库写入数据，请选择业务低峰期操作以降低程序变更发布、切换实例过程中对业务的影响。双写方案 说明 可以实现业务的灰度切流，最大限度保证业务不受影响，但您需要先改造业务的应用程序，使...
新建数据库
操作步骤 新建数据库 您可以使用以下两种方式来新建数据库：Hologres管控台新建数据库 Hologres管控台 支持以可视化的方式新建数据库，在Hologres管控台进入对应实例的详情页，选择 数据库管理，单击 新增数据库 进行创建。说明 当前版本的...
FTP Check节点
为了保证DataWorks成功读取完整的外部数据库的数据，此时，可以让其他调度系统在数据库中的数据写入任务完成后，在指定文件系统中进行文件标记（例如，生成一个.done 文件），表明该任务已完成。然后在DataWorks中配置一个FTP Check节点，...
表设计最佳实践
在写入数据前进行数据的采集和整合，整合好后，一次性提交数据（通常是每64 MB提交1次）。日志数据很少会对原来分区执行更新操作，可以用INSERT操作进行少量数据的插入，但通常需要限制插入次数。如果有大量的更新操作，需要采用INSERT ...
多租户管理使用说明
数据库管理 说明 在系统租户下创建或删除数据库时，需要以 '数据库名称@租户名称' 的方式对数据库进行操作。开启单机多租户模式下，数据库名称的长度被限制为不超过50个字符，并且仅可包含大写字母、小写字母、数字和下划线（_）。租户内不...
Slowly Changing Dimension
示例中通过两次批量写入代替流式写入的方式模拟G-SCD on Delta Lake的数据处理。步骤三：验证数据写入结果 通过查询语句，验证数据是否写入成功。步骤一：创建G-SCD表 创建G-SCD表的示例如下，该表会在 步骤二：处理数据 使用。CREATE ...
近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
CREATE MATERIALIZED VIEW
参数说明：参数 说明 db 数据库的名称，默认为当前选择的数据库，本文以default为例。Materialized_name 物化视图名。TO[db.]name 将物化视图的数据写入到新表中。说明 如果需要将物化视图的数据写入新表，不能使用 POPULATE 关键字。[ON ...
创建账号
CREATE DATABASE 命令默认通过复制template1来创建数据库。通过该方式创建的数据库，Public Schema的Owner均为第一个高权限账号。第一个高权限账号的Comment开头会包含说明：template1 public schema owner。普通账号 可以通过控制台、API...
创建/刷新物化视图支持批量写入
当需要写入的数据量较大时，不再每次扫描一个元组就立刻写入表或物化视图中，而是在内存中攒够一定数量的元组后，一次性批量写入表或物化视图中，从而能够减少记录WAL日志和查询页面空闲空间映射的开销，降低对页面的锁定频率，显著缩短...
创建/刷新物化视图支持批量写入
当需要写入的数据量较大时，不再每次扫描一个元组就立刻写入表或物化视图中，而是在内存中攒够一定数量的元组后，一次性批量写入表或物化视图中，从而能够减少记录WAL日志和查询页面空闲空间映射的开销，降低对页面的锁定频率，显著缩短...
A100售后支持相关问题
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 管理数据库审计实例 登录数据库审计系统 添加数据库实例 部署Agent程序 更多信息，请参见 A100快速入门。如何测试数据库审计网络连通性？数据库审计外网...
深度解析Lindorm搜索索引（SearchIndex）特性
Lindorm SearchIndex 设计思路 为了在有限的资源下尽可能高效的满足业务复杂查询的诉求，Lindorm期望设计一种新的引擎，以数据库特性的方式即开即用，帮助业务解决海量数据下的复杂查询问题。索引通常用来加速查询，可以通过增加一种新的...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
迁移时源库为MySQL的注意事项及限制
如果迁移的源数据库类型为MySQL，如自建MySQL、RDS MySQL，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为MySQL的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：MySQL间...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
透明数据加密概述
加密解密流程 所有加密解密操作均在内存中进行，内存中的数据是明文，磁盘中的数据是密文，这可以避免因磁盘被盗而产生的数据泄露问题，同时数据库的使用方式保持不变，没有适配成本。数据库启动时会从KMS获取KEK，从而解密DEK，解密后的...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
自建SQL Server通过物理网关迁移上云
物理协议迁移上云和逻辑数据迁移上云的区别 对比项 物理协议迁移上云 逻辑数据迁移上云 迁移原理 采用数据库原生物理备份协议以数据块的方式写入到目标端。采用JDBC逻辑协议获取SQL并写入到目标端。操作系统要求 仅支持Windows上的SQL ...
CREATE CONTINUOUS QUERY
示例 以下示例创建了一个持续查询：每小时计算过去两个小时内原始时序表 sensor 中的每小时平均温度和每小时平均湿度，并将数据写入数据库 default 中的表 sensor 中。CREATE CONTINUOUS QUERY `default`.`my_cq` WITH(`INTERVAL`='1h',`...
自建SQL Server同步至PolarDB MySQL版
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
数据变更最佳实践
向表中写入数据时，可以通过批量打包方式INSERT和REPLACE INTO提高数据写入性能。建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入...
从ECS上的自建Redis同步至Redis实例
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
空间分析
您可以通过DAS的空间分析功能直观地查看某个数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，本文以RDS MySQL数据库为例介绍如何使用空间分析功能。前提条件 目标数据库为：RDS...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
测试数据构建
遇到数据冲突则替换：遇到主键、唯一键的数据写入冲突则更新原记录的数据并继续写入其他数据。参数配置完成后，单击 提交申请，等待审批完成。待审批通过后，系统会自动生成SQL语句并执行，您可以在 工单详情 页中查看执行进度。任务执行...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
创建物化视图的跨机并行加速和批量写入
SELECT INTO 语法用于建立一张新表，并将查询所对应的数据写入表中，而不是将查询到的数据返回给客户端。其表结构与查询的输出列完全相同。原理介绍 对于物化视图的创建和刷新，以及 CREATE TABLE AS/SELECT INTO 语法，由于在数据库层面...
性能测试
测试结果 本次性能测试的结果如下：时空轨迹数据的写入耗时 Lindorm Ganos引擎继承了Lindorm宽表引擎高效的数据写入能力，写入耗时约为开源GeoMesa（HBase）的1/2，约为云数据库MongoDB分片集群的1/5。以时空轨迹数据为7.6 GB为例，写入...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
命令行界面介绍
请先输入 INSERT，然后输入该数据点的信息：>INSERT cpu,host=serverA,region=us_west value=0.64>现在，一个measurement为 cpu，tag为 host 和 region，测量值 value 为 0.64 的数据点已经写入数据库。查询刚刚写入的数据：>SELECT“host...
空间分析
您可以通过DAS的空间分析功能直观地查看某个数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，本文以 RDS MySQL 数据库为例介绍如何使用空间分析功能。前提条件 支持如下数据库...
数据库管理
参数 说明 数据库（DB）名称 以字母开头，以字母或数字结尾；由小写字母、数字、下划线或中划线组成；长度为2~64个字符。数据库名称在集群内必须是唯一的。说明 请勿使用保留关键字作为数据库名称，如 test 等。数据库Owner 数据库的所有者...
数据库管理
参数 说明 数据库（DB）名称 以字母开头，以字母或数字结尾；由小写字母、数字、下划线或中划线组成；长度为2~64个字符。数据库名称在实例内必须是唯一的。说明 请勿使用保留关键字作为数据库名称，如 test 等。数据库Owner 数据库的所有者...
Reserve参数说明
源数据库类型为Tair/Redis（包含 云数据库Redis、云原生内存数据库Tair、自建Redis）参数 配置条件 说明 srcKvStoreMode 数据库实例的接入方式不为 云实例 时。源自建Redis的实例模式，取值为：single：单机版。cluster：集群版。any.sink....
多值数据写入
同时多值写入数据需要通过/api/mquery 接口进行查询，单值写入的数据需要通过/api/query 进行查询。请求参数 名称 类型 是否必需 描述 默认值 举例 summary 无类型 否 是否返回摘要信息。false/api/mput?summary details 无类型 否 是否...
- 产品推荐
- 这些文档可能帮助您