新功能发布记录
适用于需要超长时间存放的极冷数据，例如大数据及人工智能领域的原始数据的长期积累留存、媒体数据的长期保留、法规和合规性存档、磁带替换等业务场景。2023-05-07 华东1（杭州）、华东2（上海）、华北2（北京）、华北 3（张家口）、华北6...
对象存储OSS
您也可以使用 图形化管理工具ossbrowser 方便直观地进行文件浏览、文件和文件夹（目录）上传下载等基本操作，或者使用图形化的Web应用程序 OSS管理控制台 轻松、便捷的管理您的OSS资源。您还可以使用事件通知功能，及时了解您OSS资源上的...
pg_dump
pg_dump是 PolarDB PostgreSQL版（兼容Oracle）提供的一种逻辑备份工具，用于将集群中的单个数据库备份为脚本文件或其他存档文件。简介 pg_dump用于备份单个数据库。即使当前数据库正在被访问，也会对正在访问的数据进行一致的备份，并且在...
RDS MySQL物理备份文件恢复到自建数据库
创建数据库 数据目录（mysql_newdata），用于将备份文件恢复到此目录，启动数据库时使用此目录的数据。您可以使用如下命令创建 数据目录。sudo mkdir/var/mysql_newdata sudo chown-R$USER:$USER/var/mysql_newdata 说明 上述命令的$USER:$...
Kafka Connect
负责将数据从源服务中复制到Kafka的Topic或将数据从Topic复制到目标服务。Tasks Tasks是无状态的逻辑执行单元，每个Connector实例会协同管理多个Tasks用于进行数据传输。Workers Workers是用于承载Connectors实例和Tasks线程运行的进程，...
Kafka Connect
负责将数据从源服务中复制到Kafka的Topic或将数据从Topic复制到目标服务。Tasks Tasks是无状态的逻辑执行单元，每个Connector实例会协同管理多个Tasks用于进行数据传输。Workers Workers是用于承载Connectors实例和Tasks线程运行的进程，...
功能特性
管理目录 数据索引 如果您希望从Bucket存储的海量Object中快速查找与指定的Object名称、ETag、存储类型、大小、最后修改时间等条件匹配的Object，您可以使用数据索引功能。通过数据索引功能，您可以在查找目标Object时指定过滤条件，对查询...
功能支持情况
支持通过JindoSDK列举文件 拷贝文件 拷贝文件是指在不改变文件内容的情况下，将同一地域下的源Bucket内的文件复制到目标Bucket。支持通过JindoSDK拷贝文件 重命名文件 在同一个Bucket内重命名某个Object。支持通过JindoSDK重命名文件 使用...
FTP数据源
DataX内部类型 远程FTP文件数据类型 LONG LONG DOUBLE DOUBLE STRING STRING BOOLEAN BOOLEAN DATE DATE 数据同步任务开发 FTP数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数...
存储空间概述
✓ 无地域属性Bucket之间的数据复制仅支持通过跨区域复制实现 使用数据复制时间控制（RTC）OSS数据复制时间控制RTC（Replication Time Control）可满足您在跨区域复制数据的合规性要求或者业务需求。开启RTC后，OSS会在几秒内复制您上传到...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
通过HDFS Shell连接并使用文件引擎
使用-crc 选项复制文件以及CRC信息。getmerge 接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。copyToLocal 除了限定目标路径是一个本地文件外，和get命令类似。更多命令，可以执行 help 命令查看。更...
存储空间地域属性
✓ 无地域属性Bucket之间的数据复制仅支持通过跨区域复制实现 使用数据复制时间控制（RTC）OSS数据复制时间控制RTC（Replication Time Control）可满足您在跨区域复制数据的合规性要求或者业务需求。开启RTC后，OSS会在几秒内复制您上传到...
OSS有哪些批量操作？
批量上传 您可以使用以下方法，批量上传文件：ossimport工具 支持从服务器本地、第三方云存储（S3、Azure、腾讯COS等）、OSS等数据源将数据批量迁移到OSS，特别适合数据量很大的情况。详情请参见 ossimport概述。ossutil工具 使用ossutil...
文档更新动态（2023年）
新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看及管理资产专题 资产全景及目录-数据探查（需开通质量模块才可使用该功能）新增数据探查功能，支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务...
表实用程序命令
检索Delta表详细信息 可以使用“描述详细信息”检索有关增量表的详细信息（例如，文件数、数据大小）。SQL%sql DESCRIBE DETAIL '/data/events/' DESCRIBE DETAIL eventsTable 详细架构 此操作的输出只有一行具有以下架构。列 类型 说明 ...
OSS数据源
支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言，OSS Reader支持的功能如下。支持 不支持 支持且仅支持读取TXT格式的文件，且要求TXT中schema为...
Spark Load
Spark Load利用了Spark集群资源对要导入的数据进行了排序，Doris BE直接写文件，这样能大大降低Doris集群的资源使用，对于历史海量数据迁移降低Doris集群资源使用及负载有很好的效果。如果您在没有Spark集群这种资源的情况下，又想方便、...
从自建PostgreSQL（10.0及以下版本）增量迁移至RDS ...
DTS支持结构迁移、全量数据迁移和增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建PostgreSQL数据库迁移上云。本文以 有公网IP的自建数据库 为例介绍增量数据迁移的配置流程。如您仅需要全量数据...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
Spark Load
说明 本文图片和部分内容来源于开源StarRocks的 使用Apache Spark批量导入。基本概念 Spark ETL：在导入流程中主要负责数据的ETL工作，包括全局字典构建（BITMAP类型）、分区、排序和聚合等。Broker：是一个独立的无状态进程。封装了文件...
新建和管理标准代码（码表）
码表也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表可用于标准属性值取值范围的约束。本文为您介绍如何新建和管理标准代码（码表）。权限说明 超级管理员、数据标准管理...
新建和管理标准代码（码表）
码表也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表可用于标准属性值取值范围的约束。本文为您介绍如何新建和管理标准代码（码表）。权限说明 超级管理员、数据标准管理...
OSS与文件系统的对比
本文介绍OSS与文件系统在数据模型、数据获取等方面的差异对比以及概念对应关系。...无 修改文件内容 CopyObject（目标文件和源文件相同）修改文件属性 CopyObject（目标文件和源文件不同）复制文件 CopyObject+DeleteObject 重命名文件
什么是云备份
云备份（Cloud Backup）作为阿里云统一灾备平台，是一种简单易用、敏捷高效、安全可靠的公共云数据管理服务，可以为阿里云ECS整机、ECS数据库、文件系统、NAS、OSS以及自建机房内的文件、数据库、虚拟机、大规模NAS等提供备份、容灾保护...
创建自定义层
构建层的ZIP包的方式和构建代码包的方式类似，为使函数在运行时能正确加载以层发布的库，库的代码目录结构需遵从各个语言标准的目录规范，具体信息，请参见 各运行时使用层说明。对于部署于层的函数依赖库，如果按照规范的方式打包，函数...
创建自定义层
构建层的ZIP包的方式和构建代码包的方式类似，为使函数在运行时能正确加载以层发布的库，库的代码目录结构需遵从各个语言标准的目录规范，具体信息，请参见 各运行时使用层说明。对于部署于层的函数依赖库，如果按照规范的方式打包，函数...
ECS实例数据传输的实现方式
当您需要为云服务器ECS进行软件部署、数据备份和恢复、数据导入和导出等操作时，您可以使用类Unix/Linux平台上常用的文件传输工具实现。本文通过介绍文件传输的基本原理，以及常用的NETCAT、SCP和Rsync文件传输工具，您可以根据实际需要...
OSS数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
OSS数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
部署作业
如果存档文件所在的压缩包名称为mydata.zip，则在Python自定义函数中可以编写以下代码来访问mydata.zip存档文件。def map():with open("mydata.zip/mydata/data.txt")as f:.请参见 使用自定义的Python虚拟环境 和 使用数据文件，了解更多...
环境说明
find/usr-name"mongodb.so"执行以下命令，复制扩展文件到/code 目录即拷贝到本地机器的目录。cp/usr/local/lib/php/extensions/no-debug-non-zts-20170718/mongodb.so /code执行以下命令，退出容器。exit 执行以下命令，确认是否存在 ...
配置FTP输出组件
选择 需要 时，还需要配置 标记完成文件内容。可支持配置的文件信息参数包括：文件名：$filename。带路径的文件名：$filenamewithpath。文件大小：$filesize。文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与...
配置FTP输出组件
选择 需要 时，还需要配置 标记完成文件内容。可支持配置的文件信息参数包括：文件名：$filename。带路径的文件名：$filenamewithpath。文件大小：$filesize。文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与...
高级管理FAQ
您可以使用该工具设置的生命周期管理策略，对指定目录及该目录下的子目录进行扫描并按照冷数据量降序排序，将指定目录中冷数据量最高的几个子目录打印出来。根据冷数据量来设置生命周期管理策略和需配置目录。更多信息，请参见 使用指南。...
读写访问文件类问题
为什么不能改变文件owner，文件和目录mode？为什么Windows挂载NFS协议文件系统创建和打开文件时速度缓慢？前缀为.nfs的文件是怎么产生的？如何删除？访问NAS文件系统目录下的文件时，返回bind conn to session failed on NFSv4 server该...
CreateDataFlowTask-创建数据流动任务
选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。Data：文件的数据块。MetaAndData：文件的元数据和数据块。Metadata Directory string 否 数据流动任务执行的目录。限制：长度为 ...
主机间（同一账号）迁移网站
将数据库备份SQL文件和网站文件的zip压缩包上传到目标云虚拟主机的/htdocs 目录。具体操作，请参见 上传网站文件到Linux操作系统云虚拟主机。说明 如果目标云虚拟主机为Windows操作系统，需要将备份数据上传到/目录。具体操作，请参见 上传...
备份极速型NAS
为了避免极速型NAS数据丢失或受损，能够及时恢复文件，建议您通过 云备份 对阿里云文件存储极速型NAS中的所有目录及文件进行备份。云备份 支持配置灵活备份策略，将数据备份至云端，您可以随时查看和恢复数据。本文介绍使用本地NAS方式备份...
COPY
COPY TO 把一个表的内容复制 到 一个文件，而 COPY FROM 则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPY TO 也能复制一个 SELECT 查询的结果。如果指定了一个列列表，COPY TO 将只把指定列的数据复制到文件。对于 COPY ...
- 产品推荐
- 这些文档可能帮助您