Tablestore Stream配置同步任务
如果 statusTable 中找不到对应的位点，则从系统保留的增量数据的第1条开始读取，并跳过写入时间小于 startTimestampMillis 的数据。endTimestampMillis":""：增量数据的时间范围（左闭右开）的右边界，单位为毫秒。Reader插件 ...
常见问题
如果一行数据未写入时间，那么这行数据会被保留在热存储区。Q：对于按时间戳冷热分离，冷数据更新后还是冷数据吗？A：不是。由于更新后的数据重新记录了时间戳，因此冷数据更新后变为热数据。Q：我只想查询热数据，为什么还返回了冷数据？A...
复制数据库SQL Server 2012及以上版本
您可以使用SQL命令复制数据库，您只需要使用存储过程sp_rds_copy_database指定源数据库和目的数据库即可。复制时间与数据库大小有关。说明 关于如何复制SQL Server 2008 R2版本实例的数据库，请参见 复制数据库SQL Server 2008 R2版。前提...
按自定义时间列冷热分离
Lindorm宽表引擎支持按自定义时间列归档冷热数据。购买容量型云存储后，您可以指定表或二级索引中的某个时间列作为冷热分离的依据，将数据分别存储于不同的介质中，有效提升热...如果一行数据未写入时间，那么这行数据会被保留在热存储区。
同步增量数据到MaxCompute
isExportSequenceInfo":false,#是否导出时序信息，时序信息包含了数据的写入时间等。默认该值为false，即不导出。single_version_and_update_only模式下只能为false。datasource":"",#Tablestore的数据源名称，如果有此项则无需配置...
背景信息以及准备工作
Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC连接 阿里云关系型数据库（Relational Database Service，简称RDS）（MySQL、SQLServer、PostgreSQL）数据库、云服务器（Elastic Compute Service，简称ECS）上的...
迁移时源库为HBase的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
SQL Server迁移上云指南
停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。SQL Server实例级别迁移上云 说明 若源库为2008 R2版本，建议升级后再进行操作。使用DBS和DTS（一键上云）部署物理协议网关。使用DTS迁移上云（内部会调用OSS ...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
通过控制台投递数据到OSS
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。投递...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
配置SQLServer数据源
此连接串中的Database为本数据源的默认数据库，但在配置同步任务时，您可以使用相应RDS实例下所有的数据库。用户名 登录数据库的用户名。密码 登录数据库的密码。选择 资源组连通性 类型为 数据集成。在资源组列表，单击相应资源组后的 ...
常见疑问点
在绝大多数情况下，原始数据的写入时间点和查询时间点是没有对齐的，在“选点”时会往前回溯n分钟（SLS默认3分钟，可通过自定义参数调整，请参见 时序指标查询API），并将最近的数据点作为当前时间点的数据。下图示例中，查询的startTime为...
数据模型
当您需要在不同业务场景中使用 云数据库 SelectDB 版 时，深入了解其数据模型对于您的业务设计具有重要帮助。本文档将指导您了解其数据模型，以帮助您设计出更优的数据存储方案。基本概念 在 云数据库 SelectDB 版 中，数据以表（Table）的...
如何解决增量迁移延迟或同步延迟
原因5：当DTS无法连接数据库或由于其他报错导致DTS写入数据至目标库发生异常时，DTS会进行多次重试，从而表现出同步延迟。此时您可以在控制台上查看任务是否处于 重试中 状态，并单击 查看原因并修复，查看重试原因并进行相应修复。比如，...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数...
查看监控信息
写入响应时间 毫秒（ms）监控如下信息：平均写入响应时间 最大写入响应时间 删除响应时间 毫秒（ms）监控如下信息：平均删除响应时间 最大删除响应时间 更新响应时间 毫秒（ms）监控如下信息：平均更新响应时间 最大更新响应时间 写入吞吐...
写入数据
请求路径和方法 请求路径 请求方法 描述/api/put POST 一次写入多个数据点。请求参数 名称 类型 是否必需 描述 默认值 举例 summary 无类型 否 是否返回摘要信息。false/api/put?summary details 无类型 否 是否返回详细信息。false/api/...
Kafka集群的数据存储格式
参数说明 参数 说明 time 数据库中事务的提交时间，格式为yyyy-MM-ddTHH:mm:ssZ（UTC时间）。userid 提交事务的用户ID。op 数据操作类型，包括INSERT,UPDATE,DELETE,TRUNCATE,DROP COLUMN,UPDATE BEFORE,UPDATE AFTER。scn 系统变化编号SCN...
Kafka集群的数据存储格式
参数说明 参数 说明 time 数据库中事务的提交时间，格式为yyyy-MM-ddTHH:mm:ssZ（UTC时间）。userid 提交事务的用户ID。op 数据操作类型，包括INSERT,UPDATE,DELETE,TRUNCATE,DROP COLUMN,UPDATE BEFORE,UPDATE AFTER。scn 系统变化编号SCN...
错误排查概述
说明 通过Logstore的查询的方式可能不准确，因为：数据加工是基于日志接收时间进行加工，可能正在加工历史日志，当前查询的时间范围与日志的写入时间并不一定一致。日志服务在写入历史日志时的索引可以查询，但通常会有几分钟的延迟。数据...
数据查询
兼容时间序列数据库TSDB的查询 针对时间序列数据库TSDB迁移用户，时序引擎兼容了时间序列数据库TSDB 90%以上的能力，基本可以无缝迁移。建议您将应用改造为SQL的方式进行数据查询。兼容TSDB接口的多值查询 多值查询可以查询以下四种方式...
Event Time Column（Segment Key）
合理地应用Event Time Column有助于提高数据库的处理效率、查询速度和整体性能，本文为您介绍在Hologres中为表设置分段键Event_time_column。Event Time Column介绍 Event_time_column原名为Segment Key，在Hologres V0.9版本默认改名为...
常见问题
数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？由于ADB中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据...
ApsaraDB For OceanBase数据源
实时读 OceanBase为分布式关系型数据库，可以使物理分布不同的多个数据库上的数据，被整合为一个完整的逻辑数据库。但实时同步OceanBase的数据至 AnalyticDB for MySQL，目前仅支持同步单个物理库的数据，不支持同步逻辑库数据。说明 在整...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
Serverless计费
Serverless应用一天内经历了8个小时的业务高峰，写入和查询计算资源每小时均各使用了0.6 CU，其余时间写入和查询计算资源每小时均各使用了 0.1 CU，存储空间使用量始终为1 GB。费用计算 一天的费用计算如下：写入计算资源费用：0.3975 元/...
流表
创建流表 指定摄取时间 您可以在建表语句中通过 METADATA FROM 语句，使数据写入时携带摄取时间。CREATE STREAM MyStream(`user_id` BIGINT,`name` STRING,`ingest_time` TIMESTAMP_LTZ(3)METADATA FROM 'timestamp');选择某一列作为事件...
同步数据
通过 分析型数据库MySQL版 client 高效率的写入数据到数据库中。通过 ADB uploader 将本地数据导入到数据库中。通过DML（INSERT 和 DELETE）命令加载数据到分析型数据库MySQL版中。如果数据在数据库其它表中已经存在，可以使用 INSERT ...
实例规格和产品计费
参考写性能测试基准：单个写请求包含500个数据点，所有数据只写入一个数据库，一共写入5万时间线，每个时间线包含5对tagkv，以及5个field。参考读性能测试基准：每次查询扫描10个时间线，1万个原始数据点。参考指标说明 每秒写入请求指的是...
输出数据
将经过加工的数据执行落库操作，您可以选择输出数据至已有的目标数据库表中（每次写入会删除表中原数据，并插入新数据），也可以输出数据至新建的数据库表中，还可以输出数据至数据集中。前提条件 已完成数据加工的配置，请参见 数据加工。...
CREATE TABLE
RANGE_TIME_PARTITION_MAX_OVERLAP 如果写入的数据时间点是将来的时间，这个参数表示写入的数据时间点与当前时刻的最大时间间隔，单位为天。RANGE_TIME_PARTITION_FIELD_TIMEUNIT 表示业务指定的时间分区字段单位，默认单位为毫秒（ms）。...
数据同步概述
对于数据库类数据：Hologres与DataWorks数据集成（DataX和StreamX）深度集成，支持通过 Hologres Writer 和 Hologres Reader，实现方便高效地将多种数据库数据离线、实时、整库同步至Hologres中，满足各类企业数据同步迁移的需求。...
常见问题概览
实例的节点故障处理机制 解决因磁盘空间耗尽导致的锁定或无法写入问题 云数据库MongoDB版释放数据库空间 云数据库MongoDB版的监控采集粒度是多少？账号与权限 热点问题 其他常见问题 实例创建时指定的root账号拥有什么权限？云数据库...
使用说明
示例：在RW1上创建一个数据库 db1 CREATE DATABASE db1 POLARDB_WRITE_NODE 1;如果需要在RW2上创建数据库 db1，把上述示例中的1换成2即可。删除在指定RW节点上创建的数据库 删除在指定RW节点上创建的数据库。语法结构如下：DROP DATABASE ...
数据变更最佳实践
向表中写入数据时，可以通过批量打包方式INSERT和REPLACE INTO提高数据写入性能。建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入...
二级索引
更新自定义时间戳的索引：Lindorm支持自定义时间戳进行写入，可以在任意时间戳进行数据更新，由系统来判断只有时间戳最大的数据生效。自定义时间戳特性在控制数据有效期、乱序、幂等等场景中发挥着重要的作用，在HBase中有广泛的应用。...
通过Logstash写入数据到AnalyticDB MySQL 2.0
但经过测试发现，在日志量非常大的情况下，通过jdbc方式写入分析型数据库MySQL版的性能较低，并且非常消耗CPU的资源（因为jdbc是单条记录写入的方式）。为此，我们优化了一个基于jdbc的Logstash output plugin插件，请参见 logstash-ouput-...
写入数据
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
专业术语
identifier（标识符）关于连续查询（continuous query）的名字、数据库（database）名、field key、measurement的名字、保留策略（retention policy）的名字、tag key和用户（user）名的标记。相关术语：database，field key，measurement...
- 产品推荐
- 这些文档可能帮助您