BufferedWriter多线程上传示例
本文通过代码示例向您介绍如何使用BufferedWriter接口实现多线程上传。class UploadThread extends Thread { private UploadSession session;private static int RECORD_COUNT=1200;public UploadThread(UploadSession session){ this....
多线程下载示例
本文通过代码示例向您介绍如何使用TableTunnel接口实现多线程下载，暂不支持其他接口使用多线程下载。import java.io.IOException;import java.util.ArrayList;import java.util.Date;import java.util.List;import java.util.concurrent....
多线程上传示例
本文通过代码示例向您介绍如何使用TableTunnel接口实现多线程上传。import java.io.IOException;import java.util.ArrayList;import java.util.Date;import java.util.concurrent.Callable;import java.util.concurrent.ExecutorService;...
OSS数据源
当指定多个OSS Object时，OSS Reader支持使用多线程进行数据抽取。可以根据具体要求配置线程并发数。当指定通配符时，OSS Reader尝试遍历出多个Object信息。例如配置为 abc*[0-9]时，可以匹配到 abc0、abc1、abc2、abc3 等；配置为 abc?txt...
多线程上传示例
本文为您介绍如何使用StreamUploadSession和StreamRecordPack接口实现多线程上传。import java.io.IOException;import java.util.ArrayList;import java.util.Date;import java.util.concurrent.Callable;import java.util.concurrent....
Amazon S3数据源
当指定多个S3 Object时，Amazon S3 Reader支持使用多线程进行数据抽取。线程并发数通过通道数指定。当指定通配符时，Amazon S3 Reader尝试遍历出多个Object信息。例如，配置abc*[0-9]表示abc0、abc1、abc2、abc3等。配置通配符会导致内存...
FTP数据源
当指定多个远程FTP文件，FTP Reader支持使用多线程进行数据抽取。线程并发数通过通道数指定。当指定通配符，FTP Reader尝试遍历出多个文件信息。例如，指定/代表读取/目录下所有的文件，指定/bazhen/代表读取bazhen目录下游所有的文件。FTP...
OSS数据离线同步至MaxCompute
当指定多个OSS Object时，OSS Reader支持使用多线程进行数据抽取。可以根据具体要求配置线程并发数。当指定通配符时，OSS Reader尝试遍历出多个Object信息。例如配置为 abc*[0-9]时，可以匹配到 abc0、abc1、abc2、abc3 等；配置为 abc?txt...
OSS数据离线同步至MaxCompute
当指定多个OSS Object时，OSS Reader支持使用多线程进行数据抽取。可以根据具体要求配置线程并发数。当指定通配符时，OSS Reader尝试遍历出多个Object信息。例如配置为 abc*[0-9]时，可以匹配到 abc0、abc1、abc2、abc3 等；配置为 abc?txt...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
BE参数配置
本文介绍BE进程的相关配置项。背景信息 BE进程的配置文件be.conf通常存放在BE部署路径的 conf/目录下。而在0.14版本中会引入另一个配置文件be_custom.conf。该配置文件用于记录您...之后这些Scan key range会被分配给多个Scanner线程进行数据...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
备份对数据库的影响
备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持...
【通知】性能增强型实例降价
产品简介 云数据库Redis企业版性能增强型实例采用多线程模型，性能约为同规格社区版实例的3倍，同时集成了阿里巴巴Tair的部分特性，满足更多场景的需求。性能增强型实例不仅可以为您的Redis服务性能带来质的飞跃，还能大大降低业务开发成本...
如何选择备份方式
全量备份原理 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。更多详情，请参见 添加备份网关。增量备份原理 支持实时捕获...
逻辑备份、物理备份与快照
数据库备份DBS 支持逻辑备份与物理备份，详细说明如下：区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
数据库导出
更多选项 单击 大数据导出选项 或 SQL脚本拓展选项，然后选中对应的导出选项。工单附件 您可以上传图片或文档对本次的导出操作进行补充说明。配置完成后单击 提交申请，等待审批完成。说明 您可以在工单详情页的 审批 区域查看审批进展。工...
概述
本文简要说明非阿里云数据迁移至阿里云文件存储NAS的费用说明、操作流程及迁移工具选择。费用说明 非阿里云数据迁移至阿里云NAS时，会涉及如下费用：文件...使用fpsync命令行工具迁移数据 多线程迁移数据。适用多线程迁移数据至NFS文件系统。
Tunnel SDK示例汇总引导
Java示例 简单上传示例 简单下载示例 多线程上传示例 多线程下载示例 BufferedWriter上传示例 BufferedWriter多线程上传示例 复杂数据类型上传下载示例 除上述典型场景的示例外，更多其他应用场景的示例可查看开源 Java SDK文档。...
并发导出数据
示例 请根据实际选择单并发扫描数据和多线程并发扫描数据。单并发扫描数据 相对于多并发扫描数据，单并发扫描数据的代码更简单，单并发代码无需关心currentParallelId和maxParallel参数。单并发使用方式的整体吞吐比Search接口方式高，但是...
并发导出数据
示例 请根据实际选择单并发扫描数据和多线程并发扫描数据。单并发扫描数据 相对于多并发扫描数据，单并发扫描数据的代码更简单，单并发代码无需关心currentParallelId和maxParallel参数。单并发使用方式的整体吞吐比Search接口方式高，但是...
内存型
相比 Redis社区版，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 立即购买云原生版实例（推荐），具体操作请参见 创建Tair实例。立即购买经典版实例，具体操作请参见 创建实例。主要优势 类别 说明 兼容性 100%兼容...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
从RDS MySQL同步至Tablestore
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）同步至Tablestore...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中...使用Tunnel SDK下载数据的使用案例请参见：简单下载示例 多线程下载示例 复杂数据类型上传下载示例
性能优化指南
jdbc-splits-scan 来采用多个线程并发拉数据。jdbc-scan-splits=5*/select*from tbl1;执行引擎默认会选择每一列作为切分列，如果你希望自己指定切分列，可以通过jdbc-split-column指定，需要注意的是，切分列的类型只支持INT/BIGINT和带...
应用开发向导
应用是否多线程访问云原生数据仓库MySQL版，线程之间是否共享使用Connection对象,如有，请修改，强烈建议不要在多线程之间共享使用Connection对象。如果报错中的 millisecond 值不为0，则基本由耗时很长的查询导致，请在代码中加入重试机制...
快速开始
工作队列的大小适当调小，当在用户数据量比较大（Channel数较多）时，可以更快触发线程池新建线程的策略，及时弹起更多的计算资源。设置了默认的线程保活时间（默认为60s），当数据量降下后，可以及时回收线程资源。内存控制 ...
通过SDK使用通道服务
工作队列的大小适当调小，当在用户数据量比较大（Channel数较多）时，可以更快触发线程池新建线程的策略，及时弹起更多的计算资源。设置了默认的线程保活时间（默认为60s），当数据量降下后，可以及时回收线程资源。内存控制 ...
如何调节备份速度
概念说明 全量备份并行线程数 全量备份并行线程数越多，备份速度越快，对备份源数据库性能的影响也越大。物理备份、逻辑备份的所有备份链路均支持设置该参数。备份实例规格 全量备份并行线程数上限 百GB数据库备份时间（参考）serverless ...
JMeter多个线程组的使用说明
设置多线程组并行或串行 如果JMeter脚本中包含多个主线程组（Thread Group），您可以参照以下说明设置多线程组的并行和串行关系。PTS施压配置中的 循环次数 会覆盖所有的线程组，而 压测时长 如果到达，整个压测都会停止。多线程组并行 多...
JMeter多个线程组的使用说明
设置多线程组并行或串行 如果JMeter脚本中包含多个主线程组（Thread Group），您可以参照以下说明设置多线程组的并行和串行关系。PTS施压配置中的 循环次数 会覆盖所有的线程组，而 压测时长 如果到达，整个压测都会停止。多线程组并行 多...
配置HDFS输出组件
不合并：采用多线程输出，会生成多个文件。导出压缩文件 支持是否将文件以压缩文件格式导入目标库，可选择 不压缩，直接以所选文件类型导出、gzip 压缩格式、zip 压缩格式。导出列头 选择是否导出列头：导出：会在每一个文件中的第一行输出...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
JindoFS实战演示
数据迁移 文档链接 视频链接 视频发布时间 描述 高效迁移HDFS海量文件到OSS 高效迁移HDFS海量文件到OSS 2021-05-11 通过Hadoop DistCp将HDFS海量文件同步到OSS存在很多问题，例如文件数量太大造成内存溢出、同步效率慢、无法保证数据一致性...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
管理数据
更多操作 批量管理数据域 需要大规模调整多个数据域下的资产时，您可以使用批量导入功能。通过下载并修改数据域模板文件，快速管理数据域。仅支持阿里云账号和具有 AliyunYundunSDDPFullAccess 权限的RAM用户使用该功能。登录 数据安全中心...
PolarDB-X 2.0迁移至Tablestore
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
PolarDB-X 2.0同步至Tablestore
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
- 产品推荐
- 这些文档可能帮助您