迁移HDFS数据到OSS
全量迁移或拷贝数据 将HDFS指定目录/tmp 下的数据全量迁移或拷贝到OSS目标路径 oss:/examplebucket，示例命令如下：hadoop jar jindo-distcp-tool-${version}.jar-src/tmp/-dest oss:/examplebucket/-hadoopConf fs.oss.accessKeyId=LTAI5t...
从HDFS迁移数据到OSS/OSS-HDFS
拷贝数据到阿里云OSS/OSS-HDFS上。登录集群，详情请参见 登录集群。进入/opt/apps/JINDOSDK/jindosdk-current/tools 目录。在该目录下获取 jindo-distcp-tool-${version}.jar 完整的包名。例如，jindo-distcp-tool-4.6.11.jar。您可以使用...
0042-00000307
目前拷贝数据的大小限制默认是5 GB，可以从ErrorMessage中获取具体的大小限制。问题示例 比如您发起了如下请求：PUT/multipart.data?partNumber=1&uploadId=63C06A5CFF6F4AE4A6BB3AD7F01C*...
拷贝文件
UploadPartCopy 默认从一个已存在的Object的当前版本中拷贝数据来上传一个Part。允许通过在请求header:x-oss-copy-source中附带versionId的子条件，实现从Object的指定版本进行拷贝，如x-oss-copy-source:/SourceBucketName/...
拷贝文件
UploadPartCopy 默认从一个已存在的Object的当前版本中拷贝数据来上传一个Part。允许通过在请求header:x-oss-copy-source中附带versionId的子条件，实现从Object的指定版本进行拷贝，例如x-oss-copy-source:/SourceBucketName/...
拷贝文件
UploadPartCopy 默认从一个已存在的Object的当前版本中拷贝数据来上传一个Part。允许通过在请求header:x-oss-copy-source中附带versionId的子条件，实现从Object的指定版本进行拷贝，例如x-oss-copy-source:/SourceBucketName/...
拷贝文件
UploadPartCopy 默认从一个已存在的Object的当前版本中拷贝数据来上传一个Part。允许通过在 x-oss-copy-source 的请求Header中附带versionId的子条件，实现从Object的指定版本进行拷贝，例如 x-oss-copy-source:/SourceBucketName/...
拷贝文件
UploadPartCopy 默认从一个已存在的Object的当前版本中拷贝数据来上传一个Part。允许通过在请求header:x-oss-copy-source中附带versionId的子条件，实现从Object的指定版本进行拷贝，例如x-oss-copy-source:/SourceBucketName/...
拷贝文件
UploadPartCopy 默认从一个已存在的Object的当前版本中拷贝数据来上传一个Part。允许通过在请求header:x-oss-copy-source中附带versionId的子条件，实现从Object的指定版本进行拷贝，如x-oss-copy-source:/SourceBucketName/...
云服务使用限制索引
使用限制 RDS SQL Server数据库 使用限制 RDS PostgreSQL数据库 使用限制 云数据库Redis版 使用限制 云数据库HBase版 使用限制 时间序列数据库TSDB 使用限制 图数据库GDB 使用限制 云数据库Memcache版 使用限制 云原生数据仓库AnalyticDB ...
QPS限制
100 查询直播时移用量数据 10 查询域名转码用量数据 20 查询导播台用量数据 5 获取域名广目监播用量 20 查询延播时长数据 10 查询连麦通话时长用量数据 10 查询混流转码用量数据 10 导播服务接口QPS限制 API 单用户QPS限制 创建导播台 10 ...
迁移HDFS数据到OSS-HDFS
10 增量迁移或拷贝数据 如果您仅希望拷贝在上一次全量迁移或拷贝后源路径下新增的数据，此时您可以结合-update选项完成数据的增量迁移或拷贝。例如，将HDFS指定目录data/下的数据增量迁移或拷贝到OSS-HDFS目标路径 oss:/destbucket/dir 下...
0042-00000306
问题原因 您发起了S3兼容的UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-amz-copy-source 参数用来指定拷贝源，x-amz-copy-source-range 参数指定的拷贝范围，如果该参数指定的拷贝范围超出了拷贝源文件的大小，...
重要组件
由于只读实例的扩展不需要拷贝数据，创建新的只读实例不但速度快，而且很便宜，您只需要支付相应计算节点的成本即可。阿里云称StandBy和Replica节点为Slave节点，Primary节点也可称为Master节点。User Space File System 即用户态文件系统...
UploadPartCopy
通过在 UploadPart 请求的基础上增加一个请求头x-oss-copy-source来调用 UploadPartCopy 接口，实现从一个已存在的Object中拷贝数据来上传一个Part。注意事项 当拷贝一个大于1 GB的文件时，必须使用 UploadPartCopy 的方式进行拷贝。如果想...
技术架构
利用上述的实时扩展能力，PolarDB可以在5分钟内快速拉起一个新的只读节点，挂载同一块存储数据卷，不需要复制拷贝数据即可对外提供服务。计算节点与存储节点之间通过理解数据库语义的智能互联协议将filter和projection等算子从计算层下推到...
配置外设接入
拷贝文件到U盘或者移动硬盘中，确认是否能够正常写入数据。使用摄像头 下文以 Windows客户端 V6.2.0版本为例为您介绍在 云电脑 中使用USB摄像头的操作步骤。在本地电脑终端 或硬件终端 上接入USB摄像头。登录客户端并连接 云电脑。在云电脑...
拷贝文件
分片拷贝默认从一个已存在的Object的当前版本中拷贝数据来上传一个Part。允许通过在请求header:x-oss-copy-source中附带versionId的子条件，实现从Object的指定版本进行拷贝，如x-oss-copy-source:/SourceBucketName/SourceObjectName?...
无锁结构变更方案对比
触发器的设计中拷贝数据和变更数据只能并行，无疑将会增加锁竞争。无触发器解耦了源表和目标表的依赖，所以锁竞争也就不复存在。关于目标表上的拷贝和更新时的竞争，我们在逻辑上使用交叉执行的方式避免和降低锁竞争，虽然会影响变更效率，...
无锁结构变更概览
全量拷贝数据：INSERT IGNORE INTO tmp_table_name(SELECT%s FROM table_name FORCE INDEX(%s)WHERE xxx。增量数据Binlog同步：UPDATE/INSERT/DELETE tmp_table_name。切换新旧表：RENAME TABLE table_name to old_tmp_table_name,tmp_...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
使用限制
本文介绍 云数据库ClickHouse 在使用上的限制。购买及配置集群限制 描述 限制 每个阿里云账号可购买集群数量的最大值 30 每个集群可购买节点组的最大值 24 每个集群可创建数据库账号的最大值 500 每天集群扩容、缩容、变配的总次数 12 每个...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
离线同步并发和限流之间的关系
目前数据集成绝大多数通道支持脏数据阈值限制能力，对于支持脏数据阈值限制的通道，常见配置场景介绍如下：不配置脏数据限制：表示容忍所有出现的脏数据，遇到脏数据不会导致任务失败，任务配置errorLimit留空。配置脏数据限制为0：表示不...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
使用限制
注意事项 在使用DMS任务编排功能时，可能会出现任务调度延迟或由于SQL及脚本缺少幂等性而影响下游数据正确性的情况。如下为您说明出现这种情况的场景以及处理方案。任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务...
方案概述
逻辑迁移（DTS数据同步）方式：通过数据传输服务DTS，创建数据同步任务，将源RDS MySQL实例的库表结构和全量数据同步至创建的PolarDB-X 2.0标准版中，然后保持增量数据同步。支持迁移的RDS MySQL版本和存储类型如下：RDS MySQL版本 基础版 ...
PolarDB-X 1.0迁移至阿里云消息队列Kafka
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
方案概述
其他限制：类型 说明 其他限制 单个数据同步任务只能同步一个数据库，如需同步多个数据库，一键迁移会为每个数据库配置数据同步任务。同步期间，如果同步对象的选择粒度为Schema，在待同步的Schema中创建了新的表或使用 RENAME 命令重建了...
数据查询与分析管控
附录：查看数据源的访问身份 工作空间模式差异 数据源环境介绍 自建数据源 默认创建自建数据源时，配置的访问该数据源的账号，拥有该自建数据源的访问权限。该功能仅对数据源查询权限进行管控，若要对数据源的读写操作进行权限管控，请参考...
方案概述
本章节介绍了一键升级RDS MySQL至 PolarDB MySQL版 的方案简介、两种升级方式及其优势和对比、升级前提条件、使用限制、收费规则等。升级方案概述 PolarDB 支持将RDS MySQL一键升级至 PolarDB MySQL版，整个过程中将自动为您创建目标端...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
产品优势
本文档主要为您说明阿里云数据库文件存储DBFS的主要优势。数据库文件存储DBFS是阿里云推出的一款针对数据库场景的文件存储。它在性能、弹性、高可用、成本及数据安全等维度上做了诸多技术创新与优化。适合云上自建数据库使用，提供企业级...
PolarDB-X 2.0迁移至阿里云消息队列Kafka
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
PolarDB-X 2.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至阿里云消息队列Kafka，实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标Kafka实例的版本请参见 数据库...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
DBS沙箱功能概览
存储快照和克隆技术：无数据拷贝，让备份数据快速可用。存储虚拟化技术：不依赖用户生产实例，将直接使用云上资源的沙箱实例，且在沙箱中的读写不会影响到源数据库。典型应用场景 基于线上数据的开发测试（Dev或Ops）：测试和预发布需要...
- 产品推荐
- 这些文档可能帮助您