通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，本案例选择 华东1 区。单击 创建Project，输入 名称 和 描述，创建一个DataHub项目。本案例的...
数据采样
是 随机采样 随机采样 平均采样 固定间隔行数采样 固定时间周期采样 固定区域采样 随机采样、固定区域采样 参数名 参数描述 是否必填 参数默认值 参数范围 采样数量获取方式 按行数：按指定的行数进行采样。按比例：按指定的比例进行采样。...
【邀测】同步备份
本文介绍同步备份功能，同步备份是一项方便、高效的云存储功能，支持 云与本地数据双向实时同步，实现多终端设备数据保持最终一致。功能特点 云-端数据双向同步：在本地存储和编辑的最新文件/文件夹实时同步至云端，云端已上传及更新的文件...
基本概念
音频采样率（sample rate）音频采样率是指录音设备在一秒钟内对声音信号的采样次数，采样频率越高声音的还原就越真实越自然。目前语音识别服务支持16000Hz和8000Hz两种采样率，其中电话业务一般使用8000Hz，其余业务使用16000Hz。调用语音...
基本概念
采样率（sample rate）音频采样率是指录音设备在一秒钟内对声音信号的采样次数，采样频率越高声音的还原就越真实越自然。目前语音识别服务支持16000Hz和8000Hz两种采样率，其中电话业务一般使用8000Hz，其余业务使用16000Hz。调用语音识别...
PolarDB-X（DRDS）同步方案选取指南
当您在使用PolarDB-X（DRDS），需要进行全文检索和语义分析时，可将PolarDB-X中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，可近乎于准实时地存储、查询和分析超大...
修改同步对象
DTS支持在数据同步实例运行过程中新增或移除同步对象，无需重新配置同步实例，帮助您在降低对业务影响的情况下变更同步对象。前提条件 数据同步实例进入 增量写入 模块，且处于 运行中 或同步失败的状态。为保障DTS可以正常连接源和目标库...
同步方案选取指南
当您在使用关系型数据库（RDS）遇到查询慢的问题时，可将RDS中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，可近乎于准实时地存储、查询和分析超大数据集。您可以通过...
采样函数
采样函数允许从一张表中选择随机样本作为输入，而非将整张表作为输入。语法 SAMPLE[BLOCK](sample_percent[,dummy_arg])[SEED(seed_value)]参数 参数 说明 BLOCK 采样的基本单位。如果没有BLOCK关键字，采样的基本单位为行。如果有BLOCK...
功能概览
阿里云 云备份 提供非结构化文件系统类数据同步功能，可以将源端数据源（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等）同步至目的端数据源（包括阿里云上）。本文介绍 云备份 的数据同步功能概览，包括数据同步的...
迁移或同步指定时间段内的数据
如果您想要将源HBase集群或源Lindorm实例中某个时间段的历史数据迁移至新的Lindorm实例，或想要同步实时数据到新Lindorm实例，可以在创建任务时添加相关时间参数，修改任务配置。本文介绍通过LTS控制台创建任务时配置迁移或同步时间范围的...
数据导出到OSS概述
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
使用DataWorks同步iGraph数据
数据集成是大数据开发治理平台DataWorks提供的数据同步服务，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。借助DataWorks提供的数据同步能力可将多种数据源的数据批量写入iGraph。本文为您讲解如何配置...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
现代IM系统中的消息系统—模型
本章节主要介绍表格存储（Tablestore）的Timeline模型基本功能以及核心组件，并且会通过IM消息系统场景，介绍如何基于Timeline实现IM场景下消息同步、存储和索引等基本功能。Timeline模型 Timeline模型以简单为设计目标，核心模块主要包括...
名词解释
DOWNSAMPLE ✖️ 〇 Downsample（降采样）是一种数据查询方式。当查询时间区间跨度较大，且原始数据采样频率较高时，可以通过降采样降低数据的时间粒度。例如，按秒采集的数据，降采样查询时按小时级别采样，减少结果集的数据点数。
字段分析
当日志数目超过了1亿条，会进行采样分析（采样规则是将采样后的数据控制在1亿条左右），如果要避免这种采样，建议您可以缩小时间范围或者增加过滤条件。查看字段分析 登录 日志服务控制台。在Project列表区域，单击目标Project。在控制台...
在云控制台上使用文件网关
加入同步组 开启该共享的极速同步功能，将其加入同步组，对该共享的Bucket中数据进行的任何改动都会自动同步至共享的本地客户端。开启该选项后，该共享的反向同步选项将自动关闭。说明 要选择该选项，您必须提前创建一个同步组，且同步组的...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
DB2数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等...
现代IM系统中的消息系统—架构
接收方会主动的向服务端拉取所有未同步消息，但接收方何时来同步以及会在哪些端来同步消息对服务端来说是未知的，所以要求服务端必须保存所有需要同步到接收方的消息，这是消息同步库的主要作用。对于新的同步设备，会有消息漫游的需求，这...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
离线同步数据质量排查
背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，...
查看JMeter压测报告
采样日志 在 报告详情 页面单击 查看采样日志，根据 压测Sampler、响应状态 等筛选日志，然后在对应的日志 操作 列单击 查看详情，可以查看采样日志。在压测执行时或者压测报告中，通过查看压测采样日志，可以快速定位问题。General ...
推荐模板配置
采样率 采样率（Sample Rate），也称为采样速度或者采样频率，定义了每秒从连续信号中提取并组成离散信号的采样个数，单位为赫兹（HZ）。采样率是指将模拟信号转换成数字信号时的采样频率，也就是单位时间内采样多少点，采样频率越高声音的...
管理共享
加入同步组 开启该共享的极速同步功能，将其加入同步组，对该共享的Bucket中数据进行的任何改动都会自动同步至共享的本地客户端。开启该选项后，该共享的反向同步选项将自动关闭。说明 要选择该选项，您必须提前创建一个同步组，且同步组的...
降采样查询
降采样查询是在时间维度的聚合查询，是时序数据应用场景常用的降低采样率的查询。引擎与版本 降采样查询仅支持时序引擎，且引擎版本需为3.4.15及以上版本。说明 如何查看或升级时序引擎版本，请参见 时序引擎版本说明 和 升级小版本。语法 ...
增量同步性能白皮书
单机同步单分区 单机同步4个分区 单机同步8个分区 单机同步32分区 单机同步64分区 2台机器同步64分区 2台机器同步128分区 说明 上述测试场景不是产品能力的极限测试，对表格存储服务端的整体压力较小。测试步骤 创建数据表并进行预分区...
从PolarDB MySQL版同步至Datahub
是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重...
从PolarDB MySQL版同步至Datahub
是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重...
从RDS MySQL同步至DataHub
是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重...
从RDS MySQL同步至DataHub
是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重...
SDK参考
ARMS前端监控提供一系列SDK配置项，让您能够通过设置参数来满足额外需求，例如忽略指定URL、API、JS错误的上报、通过过滤URL中的非关键字符使页面聚类、通过随机采样上报来减小上报量并降低负载等。本页索引 pid|uid|tag|page|setUsername|...
语音识别FAQ
电话客服场景通常是8000采样率，如果是手机App、PC端工具、网页H5类场景，通常是16000 Hz采样率（可能会有32、44k采样率，但开发时需要调用方将采样率调整为16k）。其他采样率的录音数据需要预先自行转码。录音文件转写可以支持其他采样率...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
实时同步常见问题
本文为您介绍实时同步的相关问题。文档概述 问题分类 相关文档 实时同步任务配置须知 实时同步任务支持哪些数据源？为什么实时同步任务延迟较大？实时同步任务延迟解决方案 实时同步任务为什么不建议使用公网？实时同步字段格式问题 实时...
报错：DTS-30019:Can not find column
可能原因：目标端的表缺少列。说明 例如：DTS-30019:Can ...后续建议：导致目标端缺少列有多种原因，其中一种原因是：同步链路不支持同步DDL，但在源端增加列。对于这种需求，请先在目标端增加列，然后在源端增加列，就不会导致同步任务失败。
同步时源库为Db2 for LUW的注意事项及限制
如果同步的源库为 Db2 for LUW，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等...
同步时源库为MySQL的注意事项及限制
云原生数据仓库AnalyticDB MySQL 2.0 云原生数据仓库AnalyticDB MySQL 3.0 云原生数据仓库AnalyticDB PostgreSQL Elasticsearch Tablestore PolarDB-X 2.0 Oracle PostgreSQL MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生...
同步时源库为Oracle的注意事项及限制
如果同步的源数据库类型为自建Oracle，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Oracle的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 在库表结构同步过程中...
- 产品推荐
- 这些文档可能帮助您