配置跨库Spark SQL节点
以下Spark SQL语句可以实现将mysql_db在线库的交易流水表sales与oracle_db库的用户表users进行关联，并将关联后的数据按部门名称分组，统计交易笔数和金额，加工后的数据写入到mysql_db在线库中。INSERT INTO mysql_db.dept_sales SELECT ...
数据库管理
入库时间：即时序数据写入数据库的时间。上述冷热分界线和TTL的能力都是基于 事件时间 进行工作。目前不支持基于入库时间设置冷热分界线或TTL。无论是冷数据归档还是数据到期清理工作，都是通过时序引擎的异步compaction任务执行的，因此，...
MySQL分库分表同步至Hologres（方案1.0）
说明 数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源...
MySQL分库分表同步至Hologres（方案2.0）
需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
如何高效地写入数据
本文介绍通过JDBC向时序引擎中写入数据的方法。基于JDBC开发高效数据写入的应用 对于使用JDBC进行应用开发的场景，为了达到高效数据写入的目的，推荐使用JDBC中的 PreparedStatement 实现INSERT语句的批量写入。具体步骤如下：使用JDBC创建...
常见问题
数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？由于ADB中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据...
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
SQL命令管理数据库
本文介绍使用SQL命令在RDS SQL Server实例中创建和管理数据库的方法，以及在管理数据库时不允许执行的特定操作。前提条件 实例版本需为RDS SQL Server 2012及以上版本。创建数据库 执行如下命令，创建数据库：CREATE DATABASE TestDb 说明 ...
数据源概述
在配置数据集成同步任务之前，您需要首先定义好同步任务的源端和目的端数据源信息，以便在配置同步任务时，能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您需要了解的相关信息。数据源功能概述 配置数据源...
离线同步能力说明
作业速率上限控制 提供任务并发数控制功能来限制数据集成读取和写入数据库的最大并发数。提供限流功能控制同步流量，避免同步速度过快对数据来源端或者数据去向端造成太大的压力。说明 不限流的情况下则会提供现有硬件环境下最大的传输性能...
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
MySQL整库实时同步至OSS数据湖
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
MySQL分库分表同步至MaxCompute
说明 目前自动建表生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。若您需要修改...
MySQL分库分表同步至MaxCompute
说明 目前自动建表生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。若您需要修改...
图扑案例
为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据，如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
业务切换流程
此类情况通常约定在执行数据迁移任务之前将业务中断并停止新的数据写入源数据库，所以请直接跳转至步骤 5 继续操作。将业务暂时中断，禁止新的数据写入源数据库。登录源数据库，根据数据库类型选择下述命令查看会话信息，确保没有新的会话...
业务切换流程
此类情况通常约定在执行数据迁移任务之前将业务中断并停止新的数据写入源数据库，所以请直接跳转至步骤 5 继续操作。将业务暂时中断，禁止新的数据写入源数据库。登录源数据库，根据数据库类型选择下述命令查看会话信息，确保没有新的会话...
写入数据
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
常见问题
写入效率：全局每秒需要写入时序数据库的平均数据点数（数据记录数）。计算公式：时间线数×单条时间线每秒需要写入的平均数据点数。说明 在多值模型中，数据点数=数据点的个数×每个数据点中的字段个数 TSDB 支持公网访问吗？TSDB 支持...
数据模型
标签（Tag）Tag描述数据源的特征，通常不随时间变化，例如传感器设备，包含设备DeviceId、设备所在的Region等Tag信息，数据库内部会自动为Tag建立索引，支持根据Tag来进行多维检索查询。Tag由Tag Key、Tag Value组成，两者均为String类型。...
InfluxDB®️介绍
云数据库 InfluxDB®版是一款专门处理高写入和查询负载的时序数据库，完全兼容开源InfluxDB 1.8版本，用于存储大规模的时序数据并进行实时分析，包括来自DevOps监控、应用指标和IoT传感器上的数据。主要特点 InfluxDB®是您处理时序数据的...
引擎功能
数据管理 数据库管理 时序数据的存储以Database为粒度进行隔离。支持通过SQL对Database的时间分区间隔、冷热分界线、数据过期时间等属性进行设置。具体操作，请参见 数据库管理。用户和权限管理 支持对时序数据的访问进行用户认证以及存储...
配置Hologres输出组件
Hologres输出组件用于向Hologres数据源写入数据。同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源...
通过DataX导入数据
概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。您可以通过DataX服务读取上游数据，然后由DataX ...
实时消费Kafka数据
DATABASE:<db_name>USER:<user_name>PASSWORD:<password>HOST:<host>PORT:<adbpg_port>VERSION:2 KAFKA:INPUT:SOURCE:BROKERS:[,.]TOPIC:[PARTITIONS:()][FALLBACK_OFFSET:{ earliest|latest }][VALUE:COLUMNS:NAME:{<column_name>} TYPE:...
配置Hologres输出组件
Hologres输出组件用于向Hologres数据源写入数据。同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源...
Schema约束
写入数据的相同字段的数据类型发生变化时，时序引擎会检测到字段的数据类型不匹配而写入失败。此时，请您执行ALTER TABLE语句手动修改字段的数据类型。说明 弱约束策略并不意味着完全没有校验。例如给标签（Tag）字段写入非字符串数据，或...
INTO子句
示例 重命名数据库 SELECT*INTO"copy_NOAA_water_database"."autogen".:MEASUREMENT FROM"NOAA_water_database"."autogen"./.*/GROUP BY*name:result time written-0 76290 在TSDB For InfluxDB®中不能直接重命名数据库，所以 INTO 子句的...
命令行界面
关于-import，需要注意的事项：通过使用-pps 设置每秒允许导入的数据点的个数，将数据点写入数据库。默认情况下，pps设置为0并且 influx 不限制数据导入的速度。允许导入.gz文件，只需在命令中加入-compressed。对于文件中的数据点，请提供...
将OSS数据写入AnalyticDB for MySQL 3.0
写入数据 异步执行以下SQL将OSS table目录下dla_table_1文件中的数据写入AnalyticDB for MySQL adb_demo数据库的shipping表。执行 OSS 到 AnalyticDB for MySQL 的全量数据写入。run-async=true*/INSERT INTO ads_database_schema.shipping...
数据写入
Lindorm时序引擎支持六种数据写入方法：Native SDK写入、行协议写入、标准SQL写入、时间序列数据库TSDB接口写入、remote write数据写入、Flink数据写入。本文介绍数据写入的六种方法。Native SDK写入 Native SDK适用于Java开发者，Native ...
同步时源库为MongoDB的注意事项及限制
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
从自建Db2迁移至RDS MySQL
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在Db2数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 迁移对象选择的粒度可以为库、表、列三个粒度。...
Microsoft Azure Database for MySQL数据库迁移到阿里...
本文介绍Microsoft Azure Database for MySQL数据库迁移到阿里云的步骤及注意事项。前提条件 源端及目标端 要求 相关参考 源端 Microsoft Azure Database for MySQL实例 已开通公网访问，并获取外网连接地址及端口。已创建高权限账号。如果...
CREATE MATERIALIZED VIEW
本文介绍如何在 云数据库ClickHouse 中创建物化视图。创建物化视图 语法：CREATE MATERIALIZED VIEW[IF NOT EXISTS][db.]Materialized_name[TO[db.]name][ON CLUSTER cluster]ENGINE=engine_name()ORDER BY expr[POPULATE]AS SELECT.参数...
创建/刷新物化视图支持批量写入
当需要写入的数据量较大时，不再每次扫描一个元组就立刻写入表或物化视图中，而是在内存中攒够一定数量的元组后，一次性批量写入表或物化视图中，从而能够减少记录WAL日志和查询页面空闲空间映射的开销，降低对页面的锁定频率，显著缩短...
- 产品推荐
- 这些文档可能帮助您