客户端上传SDK概述
为了避免浪费3G/4G网络下的流量，切换到3G/4G网络时，可以调用pause暂停上传。在切换回WIFI网络时，调用resume恢复上传（网络切换部分需要应用自己实现判断）。说明 上传地址和凭证相关接口包括：获取音视频上传地址和凭证 刷新视频上传...
使用说明
您可以通过Tunnel直接上传数据到MaxCompute内部表，或者是通过OSS Python SDK上传到OSS后，在MaxCompute使用外部表做映射。关于外部表详情请参见 概述。Tunnel命令不支持上传下载ARRAY、MAP和STRUCT类型的数据。每个Tunnel的Session在服务...
DataX Writer
在DataWorks上创建测试表并上传数据到MaxCompute数据源，详情请参见 建表并上传数据。创建StarRocks数据源。在DataWorks的 工作空间列表 页面，单击目标工作空间操作列的 数据集成。在左侧导航栏，单击 数据源。单击右上角的 新增数据源。...
SQL周期性采集
说明 通过创建 周期性采集项目，上传数据文件，系统则会为您进行SQL信息自动合并与分析。详情操作请参见 分析信息。采集信息 下载采集器。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM）>迁移实验...
冷启动版数据规范
概述 冷启动版各行业数据规范，历史数据及实时数据的上传均需要遵守此规范。同时需要注意：冷启动版实例的启动需要至少20万老用户的行为数据，同时需要您做好新用户标记以及后续实时同步上传新用户发生的行为数据。数据描述 使用AIRec智能...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
新功能发布记录
添加访问地址 租户规格下限变更 集群实例中的租户规格下限调整，V3.x 以上版本的租户最小规格从原有 2C5G 变更为 1C4G，同样的集群规模可以创建更多的租户数量，可降低用户使用成本。新建租户 备份恢复能力增强 支持按照备份集进行恢复，...
测试方法
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。您可以按照本文介绍自行测试对比，快速了解云原生数据湖分析（DLA）Spark引擎的性价比数据。...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
功能更新动态（2024年）
创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 数据安全 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以命中脱敏算法，提升数据...
测试环境与工具
集群1：4核16GB*3节点 集群2：8核32GB*3节点 集群3：16核64GB*3节点 集群4：32核128GB*3节点 说明 上述测试实例规格均使用Lindorm产品的公开售卖规格。测试实例的存储类型选用的是标准型云存储，选用性能型云存储可以获得更好的性能。测试...
文档更新动态（2024年）
创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 资产安全-敏感数据识别 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以命中脱敏...
数据传输服务（上传）场景与工具
功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个批量操作将数据上传到MaxCompute中。例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
Tunnel命令常见问题
同一个表或分区是否可以并行上传数据？可以并行上传。是否支持多个客户端同时上传数据至同一张表？支持。使用Tunnel Upload命令上传数据时一定要先存在分区吗？您也可以使用Tunnel Upload命令的-acp 参数，自动创建目标分区，默认值为False...
新增和使用独享数据集成资源组
4c8g类型的独享数据集成资源组最多支持绑定2个专有网络，其他规格的独享数据集成资源组最多支持绑定3个专有网络。购买资源组 说明 仅拥有 AliyunBSSOrderAccess 和 AliyunDataWorksFullAccess 权限的用户可以进行购买资源组的操作。登录 ...
数据传输服务概述
如果上传数据速度太慢，可以考虑使用多线程上传方式。数据传输服务共享资源组说明 下表数据为不同区域下免费共享资源（单位：Slot）Project级最多可用Slot数说明。站点 地域 Slot（个数）中国 华东1（杭州）300 中国 华东2（上海）600 中国...
系统管理
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
数据集管理
方便用户对数据的多样性操作【查看异常日志】：对模型上传数据集过程中存在的异常情况有全量的判断，方便追踪 数据集详情【基本信息】：数据集名称、创建时间、标签、最后修改时间【上传】：选择不同的数据包形式上传数据集，对当前数据集...
独享数据集成资源组
性能指标 规格 离线同步最大并发线程数 4c8g 8 8c16g 16 12c24g 24 16c32g 32 24c48g 48 规格 单任务建议需要的资源规格 MySQL来源实时同步数据库数1 4c8g MySQL来源实时同步数据库数[2-5]8c16g MySQL来源实时同步数据库数6以上 12c24g ...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
独享调度资源组
性能指标 规格 最大并发运行实例数 4c8g 16 8c16g 32 12c24g 48 16c32g 64 24c48g 96 规格选择及费用预估 您可以使用 DataWorks独享资源组计算器 预估所需规格及相关费用。预估规格及相关费用时，可进入DataWorks的 运维中心>运维大屏，...
Tunnel命令
如果值为True，表示上传的数据文件中可以包含表头，会跳过表头从第二行开始上传数据。mbr 此参数需要配合-dbr 参数使用，当-dbr 设置为true时，设置此参数才有意义。指定可容忍的脏数据量。超过此数据量时，终止上传。默认值为1000条。ni ...
Tunnel命令
如果值为True，表示上传的数据文件中可以包含表头，会跳过表头从第二行开始上传数据。mbr 此参数需要配合-dbr 参数使用，当-dbr 设置为true时，设置此参数才有意义。指定可容忍的脏数据量。超过此数据量时，终止上传。默认值为1000条。ni ...
上传数据
上传数据操作入口 您可以在数据开发的头部菜单栏、业务流程下的表分组或表管理页面中进行上传数据的操作，入口如下所示。在 数据开发 页面的头部菜单栏中。在 数据开发 页面业务流程下的表分组中。标准模式下，在 表管理 页面中，对开发表...
离线同步常见问题
脏数据实时场景分析：场景一：报错现象：{"message":"写入 ODPS 目的表时遇到了脏数据:第[3]个字段的数据出现错误，请检查该数据并作出修改或者您可以增大阈值，忽略这条记录.","record":[{"byteSize":0,"index":0,"type":"DATE"},{...
DataX Writer
在DataWorks上创建测试表并上传数据到MaxCompute数据源，详情请参见 建表并上传数据。创建StarRocks数据源。在DataWorks的 工作空间列表 页面，单击目标工作空间操作列的 数据集成。在左侧导航栏，单击 数据源。单击右上角的 新增数据源。...
资源组说明
数据同步资源占用2c4g，支持4个任务并发，数据同步速率参考值3M/秒，日均任务数量参考值50个。说明 实际任务执行数量取决于网络速率、数据库读写速度、数据量大小、任务调度周期等。通用任务执行资源占比1c2g，支持10个SQL任务并发，日均...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
添加数据源
阿里云 云备份 提供非结构化文件系统类数据同步功能，可以将源端数据源（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储 等）同步至目的端数据源（包括阿里云上）。首次数据同步前，您需要添加源端数据源和目的端数据源。...
资源组说明
数据同步资源占用2c4g，支持4个任务并发，数据同步速率参考值3M/秒，日均任务数量参考值50个。说明 实际任务执行数量取决于网络速率、数据库读写速度、数据量大小、任务调度周期等。通用任务执行资源占比1c2g，支持10个SQL任务并发，日均...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
导入模型
当前支持的数据库类型和版本如下：MySQL 5.7+、Oracle 9i/10g/11g/12c、DB2 9.7/10.5、MariaDB、PostgreSQL 9.5+、SQL Server 2008+、GaussDB A、GBASE 8A、MaxCompute、Teradata 16.2、Hana、Hive1.1+、MongoDB 4.0+和Cassandra 3.4等。...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
审计配置
SSL证书 如果已为要审计的数据库配置了证书，您需要在此参数处上传数据库正在使用的证书，否则 DSC 将无法审计该数据库加密后的访问流量。如果您的数据库未配置证书，则您无需配置该参数。以下是配置说明：单击目标资产 SSL证书 列的 导入...
新增和使用独享调度资源组
绑定归属工作空间 3 若独享资源组需要访问VPC网络环境，您需要为其绑定与目标VPC网络环境数据源或地址网络连通的VPC。（可选）绑定专有网络 4 若目标环境存在白名单控制，您需要在目标环境添加独享资源组的相关IP，保障独享资源组可访问...
使用Mongo Shell通过SSL加密连接数据库
通过SSL加密功能可以在传输层对网络连接进行加密，在提升通信数据安全性的同时，保障数据的完整性。前提条件 实例类型为副本集实例，且数据库版本为3.4、4.0或4.2版本。说明 如果版本过低，您可以 升级数据库大版本。实例已开启SSL加密功能...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
基于OSS外表的单表多文件查询
上传数据文件。文件拆分后，您需要手动将所有的CSV文件上传到OSS上的同一路径下。此处以使用ossutil命令行工具批量上传CSV文件为例，关于ossutil命令行工具更多内容请参见 ossutil。ossutil64 cp localfolder/oss:/examplebucket/desfolder...
- 产品推荐
- 这些文档可能帮助您