什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
解决无法连接实例问题
本文介绍如何解决无法连接RDS的问题。连接失败的常见报错 请根据现场情况与具体的报错信息，选择对应的解决方法。数据库类型 错误信息 报错原因 解决办法 MySQL或MariaDB ERROR 2003(HY000):Can't connect to MySQL server on 'XXX'(10038...
什么是数据库自治服务DAS
解决方案 数据库自治服务DAS（Database Autonomy Service）是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定...
实时同步常见问题
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
03新建工作组并导入解决方案
创建需要导入解决方案包的工作组，并导入解决方案，本文介绍如何新建工作组并导入解决方案。前提条件 已下载解决方案，具体操作，请参见 下载解决方案。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 协同。在顶部菜单栏...
MySQL分库分表同步至MaxCompute
针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案，支持不同数据源的一键同步功能，方便业务简单快速的进行数据同步。分库分表同步至MaxCompute解决方案是一种基于Binlog实时同步、T+1合并生成离线...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。...详细内容，请参见 网络连通解决方案。测试成功后，单击 确定，完成Amazon S3数据源的创建。
MySQL分库分表同步至MaxCompute
针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案，支持不同数据源的一键同步功能，方便业务简单快速的进行数据同步。分库分表同步至MaxCompute解决方案是一种基于Binlog实时同步、T+1合并生成离线...
常见问题
本文主要介绍在使用ossftp时可能遇到的问题及解决方案。连接FTP Server时提示无法连接到服务器 问题现象 提示：严重错误，无法连接到服务器。问题原因 输入的AccessKey ID和AccessKey Secret有误。所用的AccessKey信息为RAM用户的AccessKey...
他云/自建数据库录入
本文介绍如何将他云/自建数据库录入至数据管理DMS中。前提条件 支持录入的他云/自建数据库类型，请参见 支持的他云/自建数据库。已在他云/自建数据库的白名单中添加DMS的服务器访问地址。详细信息，请参见 设置IP白名单。目标数据库实例的...
导入解决方案
将某个工作组中下载的解决方案导入到其他工作组或项目，可实现数据治理工作环境的初始化、跨平台的资产发布及迁移，支持通过本地上传和OSS添加的方式导入解决方案。本文介绍如何导入解决方案。前提条件 已在系统设置模块中创建需要导入解决...
应用场景
本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和非结构化数据进行高效分析处理的能力。EMR Serverless Spark不仅集成...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
新建解决方案
将工作组中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产，进行版本化的解决方案创建及实例化，便于完成数据治理工作环境的初始化、跨平台的资产发布及迁移。本文介绍如何通过全新创建和根据已有...
网络连通解决方案
本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通解决方案。网络连通方案的操作指导说明如下表所示。数据源所在的网络环境 网络连通操作指导 数据源具备...
RDS MySQL I/O高问题
本文介绍实例I/O高的原因和解决方案。高吞吐导致实例I/O高 现象 如果表上有很多索引或大字段，频繁地更新、删除、插入，读取数据和刷新脏页时会有大量的I/O。您可以在控制台的 自治服务>性能趋势 页面，单击 性能趋势 页签，查看读写负载...
常见问题
关于其他问题，您可根据下列分类匹配问题场景和解决方案。功能特性 云数据库Redis版兼容Redis哪个版本？云数据库Redis版兼容Redis哪些命令和操作？云数据库Redis版与Redis是什么关系？云数据库Redis版是否存在CPU处理能力、带宽和连接数等...
一键实时同步至AnalyticDB for MySQL 3.0
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 同步解决方案默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云...详细内容，请参见 网络连通解决方案。测试成功后，单击 确定，完成DataHub数据源的创建。
到期、欠费说明
本文介绍数据管理DMS服务到期或阿里云账号欠费，对实例的影响以及解决方案。到期说明 包年包月的服务到期后，对实例的影响和解决方案如下：计费项 到期影响 解决方案 稳定变更模式 如果稳定变更模式的可用额度不足，稳定变更模式的实例会在...
全增量实时同步至Hologres
配置区域 参数 说明 读端配置 离线任务源端最大连接数 支持您通过该参数控制当前同步方案所产生的所有离线子同步任务可占用的源端数据库连接数，即同一时间内，当前同步解决方案所产生的所有离线子同步任务读取数据库的并发数上限。...
整库离线同步至OSS
同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成数据集成资源组与数据源的...
功能特性
云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。本文介绍云数据库MongoDB版的功能特性。架构灵活 云数据库...
整库离线同步至MaxCompute
背景信息 各类方案介绍及写入表分区说明请参见：数据集成侧同步任务能力说明。操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：同步规则设置 步骤六：运行资源设置 步骤七：...
新零售：杭州数云信息技术有限公司
数云致力于为消费品牌和零售品牌商提供整合软件产品、数据模型和专业服务的一站式数据化营销解决方案。数云以软件产品为主线，以营销效果为导向，帮助企业深度挖掘大数据价值，持续构建自身的核心竞争优势。实现了以全渠道客户数据管理平台...
整库离线同步至Elasticsearch
编辑目标索引 同步解决方案默认根据源端生成目标索引结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标索引时，将自动为源端字段匹配目标端可写入的字段类型。支持您单击 Elasticsearch...
整库离线同步至MaxCompute
选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：同步规则设置 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要同步的源端数据源和...
从Oracle迁移应用至阿里云PolarDB全流程指南
概述 阿里巴巴基于多年去IOE（即IBM的大型机或小型机、Oracle的数据库、EMC的存储设备）最佳实践，总结出一套专业的迁移Oracle上云的方法论以及解决方案。并建立专业的团队和专业的工具帮助企业最小成本、最低风险、最短周期迁移Oracle上云...
数据库代理常见问题
如果您在使用RDS PostgreSQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。什么是数据库代理？数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于转发应用服务端访问数据库时的所有请求，提供读写分离、...
创建Teradata数据源
详细内容，请参见 附录：网络连通解决方案。测试成功后，单击 确定，完成Teradata数据源的创建。后续步骤 完成Teradata数据源的创建后，即可将Teradata的业务数据引入至Dataphin或将Dataphin的数据写入至Teradata。详情请参见 数据集成概述...
什么是RDS MySQL
DAS的诊断基于单个实例，会提供问题详情及相应的解决方案，为您维护实例带来极大的便利。RDS MySQL仅支持InnoDB和 X-Engine 两种存储引擎，具体的功能请参见 MySQL功能概览。说明 如果业务复杂，您可以购买 支持计划，获取由IM企业群、技术...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。...详细内容，请参见 附录：网络连通解决方案。测试成功后，单击 确定，完成GreenPlum数据源的创建。
新建Doris数据源
通过创建Doris数据源能够实现Dataphin读取Doris的业务数据或向Doris写入数据。本文为您介绍如何创建Doris数据源。背景信息 Doris即Apache Doris，是...详细内容，请参见 网络连通解决方案。测试成功后，单击 确定，完成Doris数据源的创建。
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
创建Aliyun HBase数据源
本文为您介绍如何创建Aliyun HBase数据源。背景信息 Aliyun HBase即阿里云的云数据库HBase。如果您使用的是云数据库HBase，在对接Dataphin进行数据开发时，您需要先完成Aliyun HBase数据源的创建。更多信息，请参见 什么是云数据库HBase。...
创建GBase 8a数据源
通过创建GBase 8a数据源能够实现Dataphin读取GBase 8a的业务数据或向GBase 8a写入数据。本文为您介绍如何创建GBase 8a数据源。...详细内容，请参见 附录：网络连通解决方案。测试成功后，单击 确定，完成GBase 8a数据源的创建。
创建StarRocks数据源
详细内容，请参见 网络连通解决方案。测试成功后，单击 确定，完成 StarRocks 数据源的创建。后续步骤 完成StarRocks数据源的创建后，即可将StarRocks的数据引入至Dataphin，或将Dataphin的数据写入至StarRocks数据源。详情请参见 数据集成...
配置资源组与网络连通
本文为您介绍数据库在不同网络环境中时，可选用的网络连通方案。注意事项 连通性测试通过是任务运行成功的必要条件，连通性工具测试仅验证网络等基本条件通过，具体任务是否成功以实际任务运行结果为准。任务提交生产运行前确保测试通过。...
创建GoldenDB数据源
通过创建GoldenDB数据源能够实现Dataphin读取GoldenDB的业务数据或向GoldenDB写入数据。本文为您介绍如何创建GoldenDB数据源。...详细内容，请参见 附录：网络连通解决方案。测试成功后，单击 确定，完成Golden DB数据源的创建。
一键实时同步至Elasticsearch
编辑目标索引 同步解决方案默认根据源端生成目标索引结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标索引时，将自动为源端字段匹配目标端可写入的字段类型。支持您单击 Elasticsearch...
- 产品推荐
- 这些文档可能帮助您