功能特性
企业微信入方向 敏感信息同步 同步全部通讯录数据 企业微信入方向 全量同步 手动同步企业微信通讯录的全部数据到 IDaaS 企业微信入方向 定时校验 定时同步企业微信的全部数据到 IDaaS 企业微信入方向 企业微信扫码登录 企业微信扫码登录到 ...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
管理数据集
单击 数据定时同步 后的 设置，打开 启用 开关，设置 定时执行 的类型，例如：每月第一天早上10点整进行数据同步。单击 数据定时同步 后的 立即同步，可以立即完成数据同步操作。若您的数据集带有分区字段，则会出现分区字段同步设置，具体...
数据下载
新增数据下载功能，实现文件网关通过反向同步或极速同步的文件数据可以下载指定路径目录文件数据或全量数据至本地客户端。经公网下载数据会产生OSS服务费用，您可以根据自己的需求进行选择使用，计费规则请参见 计量项和计费项。新建共享...
功能概览
阿里云 云备份 提供非结构化文件系统类数据同步功能，可以将源端数据源（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等）同步至目的端数据源（包括阿里云上）。本文介绍 云备份 的数据同步功能概览，包括数据同步的...
低成本跨境文件传输
本文介绍如何通过OSS加速域名，配合函数计算和 Serverless 工作流，快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定程度的...
使用在线迁移服务迁移数据
使用在线迁移服务，您可以轻松实现文件存储NAS之间的数据迁移。本文介绍如何通过在线迁移服务实现阿里云文件存储NAS之间的数据迁移。使用在线迁移服务，您只需在控制台填写源NAS和目标NAS的地址信息，并创建迁移任务即可。迁移任务启动后，...
低成本跨境文件传输
本文介绍如何通过OSS加速域名，配合函数计算和 Serverless 工作流，快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定程度的...
影子表同步
定时同步：定时执行同步任务。选择 任务错误处理 方式。停止任务：在执行过程中，遇到出错则中断后面的 SQL 脚本，不再执行。忽略错误继续执行：在执行过程中，跳过当前出错的 SQL 脚本继续执行，并执行完所有 SQL 脚本。描述 描述项目的...
创建同步OSS
准备工作 1.准备OSS Bucket DataHub支持将数据同步到对象存储...确认同步数据同步文件在OSS中的命名格式如下图所示：包含Bucket、目录前缀、二级目录以及文件名等 下载该文件，并查看文件内容，TUPLE同步文件内容为csv数据格式，如下图所示：
定时触发函数计算
所以在这里介绍一下 系统运维管理 OOS提供的定时任务，这是一个以定时器为基础，通过触发公共模版或自定义模版，来实现定时执行任务的预期。此时通过定时运维功能执行OOS服务提供的执行函数计算的公共模版(ACS-FC-InvokeFunction)，便可以...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS智算版文件系统的数据流动任务及查看任务报告。前提条件 已创建数据流动。具体操作，请参见 创建数据流动。任务说明 数据流动任务可分为导入（Import）和导出（Export）两种类型。类型 说明 ...
sync（同步本地文件到OSS）
sync 命令用于将本地文件同步到OSS。注意事项 要将本地文件同步到OSS，您必须具有oss:PutObject、oss:ListObjects和oss:DeleteObject权限。具体操作，请参见 为RAM用户授权自定义的权限策略。Binary名称 本文各命令行示例均基于Linux 64位...
影子表同步
定时同步：定期定时执行同步任务。您可以根据需求配置Crontab表达式。更多信息，请参见 Crontab表达式。任务最小时间间隔为1小时，默认每天02:00执行任务。是否忽略报错 选择是否忽略报错，支持的选项：不忽略：在执行过程中，遇到出错则...
sync（同步OSS文件到本地）
sync 命令用于将OSS中的文件同步到本地。注意事项 要将OSS中的文件同步到本地，您必须具有 oss:GetObject 和 oss:ListObjects 权限。具体操作，请参见 为RAM用户授权自定义的权限策略。Binary名称 本文各命令行示例均基于Linux 64位系统，...
SMB文件系统传输加密
传输加密权限说明 不支持匿名用户使用传输加密功能，仅支持AD域身份用户挂载SMB文件系统实现文件传输加密。传输加密的性能损耗 开启传输加密的挂载与未开启传输加密的挂载相比，访问延迟会增加约10%，IOPS会下降约10%。开启传输加密 仅支持...
从Consul迁移到MSE Nacos
使用MSE Sync工具，您可以轻松地将Consul中的服务数据同步到Nacos，只需进行简单的配置即可实现全部服务的全量同步。通过依赖替换和重新打包，即可从Consul迁移到Nacos。本文将介绍如何实现从Consul到Nacos的迁移。前提条件 创建Nacos引擎...
ECS实例数据传输的实现方式
本文通过介绍文件传输的基本原理，以及常用的NETCAT、SCP和Rsync文件传输工具，您可以根据实际需要选择合适的文件传输工具。文件传输原理 文件传输是信息传输的一种形式，它是在数据源和数据宿之间传送文件数据的过程，也称为文件数据通信...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或文件名中的数据 在同步时为...
旧版本 AD/LDAP 账户同步配置
同时支持向 AD 或 OpenLDAP 的增量和全量同步。新建LDAP配置 操作步骤 以IT管理员账号登录云盾IDaaS管理平台。点击左侧导航栏 账户->机构及组。点击【配置LDAP】，新建LDAP配置，填入必填信息，开启从 IDaaS 同步至 LDAP。服务器链接：服务...
什么是数据传输服务DTS
功能特性 功能 介绍 相关文档 数据同步 实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步方案概览 数据同步功能特性 数据迁移 实现...
使用rsync工具迁移数据
本文介绍如何使用rsync工具实现阿里云文件存储NAS NFS协议文件系统之间的数据迁移。前提条件 已拥有一个存有数据的NFS协议文件系统，并且拥有一个专有网络类型挂载点。费用说明 NAS与NAS之间的迁移，会涉及如下费用：使用ECS作为数据传输的...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
创建文件系统
可通过POSIX协议 或NFS协议 在多个计算节点（ECS、容器、云桌面、PAI）中实现文件系统的共享访问。本文介绍如何 创建CPFS文件系统或 创建CPFS智算版文件系统。前提条件 已开通文件存储CPFS服务。首次登录 NAS控制台 时，根据页面提示开通...
功能发布记录（2024年）
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。2024.2.22 所有地域 所有DataWorks用户 账单...
定时SQL Exactly-Once
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库（Logstore和MetricStore），确保数据不会重复写入，也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
计费概述
公网带宽费用 当您将非阿里云数据迁移至NAS或者将NAS中的数据下载至本地时，需要通过任何一台连接公网的PC上（Windows或Linux系统）挂载NAS，实现文件的上传和下载，占用ECS公网带宽，您需要支付ECS公网带宽费用。更多信息，请参见 公网...
迁移说明
非阿里云服务存储数据迁移至云上NAS 如果您想将线下数据、IDC数据、本地数据等非阿里云服务存储数据迁移至阿里云文件存储NAS，可参照以下方式进行迁移：配置数据传输中转节点 迁移数据至阿里云NAS OSS和NAS之间的数据迁移 对于NAS与OSS之间...
HttpFile数据源
DATE 日期时间类型，支持以下日期时间格式：yyyy-MM-dd HH:mm:ss yyyy-MM-dd HH:mm:ss 数据同步任务开发：HttpFile同步流程引导 HttpFile数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面...
实现无人值守压测
配置好压测场景后，除了立即启动压测，您也可以创建定时压测任务，同时结合SLA指标，对压测中业务的表现进行监控，一旦不满足指标要求，立即停止压测，或触发告警。这一系列过程都可以在PTS中自动化实现，实现无人值守的压测。前提条件 已...
常见问题
如果您要在Windows系统（以Windows系统为主）中实现文件共享，则选择SMB协议创建文件系统。如果您要在Linux系统和Windows系统中实现文件共享，则选择SMB协议创建文件系统。每个账户可以创建多少个文件系统、文件系统有什么限制？每个账号在...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
使用Outlook插件进行邮箱通讯录及日历的双向同步
阿里邮箱提供Outlook插件，支持查看组织通讯录、写信页联系人联想和日历同步。插件下载路径。一、指引教程 1.1 安装 安装过程中会检查插件运行所需要的环境，如果机器没有安装，插件会给予提醒框提示，点击确定会自动打开环境下载地址。...
通过NAT网关实现本地数据中心访问阿里云NAS
配置NAT网关 通过以下配置，可在任何一台连接公网的PC上（Windows或Linux系统）挂载NAS，实现文件的上传和下载。登录 专有网络控制台。创建NAT网关。具体操作，请参见 创建和管理公网NAT网关实例。说明 必须与NAS选择同一VPC。为NAT网关...
IoT数据自动化同步至云端解决方案
DataWorks具备按照定时时间进行周期调度的特点，您可以设置DataWorks同步任务的调度周期为OSS生成文件的周期。例如，OSS上的文件每15分钟生成一份，设置DataWorks同步任务的调度周期为每15分钟调度一次。生成的文件名需要使用时间戳来命名...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
场景：配置增量数据离线同步任务
离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据，配置过滤条件时，将只同步满足过滤条件的数据。同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该...
将SMB文件系统挂载点接入AD域
通过将SMB文件系统的挂载点接入AD域内，您可以在AD域中实现文件系统用户身份的认证管理和文件级别的访问权限控制。以AD域用户身份挂载使用SMB文件系统之前，您需要在AD域内为SMB文件系统注册服务，生成Keytab密钥表文件并上传至NAS控制台...
实现无人值守压测
配置好压测场景后，除了立即启动压测，您也可以创建定时压测任务，同时结合SLA指标，对压测中业务的表现进行监控，一旦不满足指标要求，立即停止压测，或触发告警。这一系列过程都可以在PTS中自动化实现，实现无人值守的压测。前提条件 已...
- 产品推荐
- 这些文档可能帮助您