云数据库录入
SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。使用该参数的前提是数据库已开启SSL连接，当前支持如下选项：默认（DMS与数据库服务自动协商是否开启）：系统将自动...
MaxCompute数据离线同步至ClickHouse
如您期望完成ClickHouse与数据服务资源组、调度资源组的网络联通，需分别进行网络连通的配置与连通测试。新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息...
呼吸气泡层（v3.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
符号聚合层（v3.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
PolarDB-X 1.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将PolarDB-X 1.0同步至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。已创建Kafka实例，并已创建用于接收同步数据的Topic，请参见 ...
PolarDB MySQL版迁移至Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群迁移至Kafka集群，扩展消息处理能力。前提条件 已创建目标自建Kafka集群实例或 阿里云消息队列Kafka版 实例。说明 若目标实例为 阿里云消息队列...
Db2 for LUW同步至自建Kafka集群
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 同步至自建Kafka集群。前提条件 已创建目标自建Kafka集群，且Kafka集群为0.10.1.0~2.7.0版本。若源库数据需要全量同步，目标数据库的存储空间需大于源数据库占用的存储...
PolarDB MySQL版同步至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群同步至 阿里云消息队列Kafka版，扩展消息处理能力。前提条件 已创建源 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 和 购买包年包月集群。...
PolarDB-X 1.0迁移至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将PolarDB-X 1.0迁移至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。说明 PolarDB-X 1.0的存储类型支持为RDS MySQL（包括私有定制...
PolarDB-X 2.0迁移至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），您可以将 PolarDB-X 2.0 迁移至阿里云消息队列Kafka，从而扩展消息处理能力。前提条件 已创建源 PolarDB-X 2.0 实例，且需兼容MySQL 5.7版本。目标Kafka实例中已创建用于...
Db2 for LUW迁移至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库迁移至 阿里云消息队列Kafka版。前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 阿里云消息队列Kafka版 实例。更多信息，请参见 概述。说明 ...
概述
PolarDB for AI 功能通过一系列MLOps和内置的模型解决了数据、特征和模型的割裂状态，实现了基于数据库的数据智能的一站式服务。本文介绍了 PolarDB for AI 功能的相关特性。背景信息 随着数据的累积，数据驱动的智能应用（例如：搜索、...
PolarDB-X 2.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至阿里云消息队列Kafka，实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标Kafka实例的版本请参见 数据库...
自建Oracle同步至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle同步至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本，请参见 同步方案概览...
RDS MySQL迁移至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 RDS MySQL 迁移至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建...
自建Oracle迁移至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle迁移至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本，请参见 迁移方案概览...
导入与导出
原因：由于AnalyticDB MySQL连接层限制，使用DataX导入数据时可能会出现上述报错。解决方法：请修改JDBC连接串，添加rewriteBatchedStatements=false参数后重新导入数据 如何解决 导入MaxCompute数据 时，出现Query Exceeded Maximum Time ...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
2019年
日志服务数据如何同步到MaxCompute 2019-11-15 监控报警新增监测MaxCompute按量付费的Project的作业消费情况。新说明 监控报警新增监测MaxCompute按量付费的Project的作业消费情况。监控报警 2019-11-12 新增MaxCompute JDBC介绍。新...
地图容器（v3.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
地图容器
当位置轮播数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
配置备份计划
连接方式：选择连接方式，当前支持：非加密连接 SSL安全连接：SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。选择 SSL安全连接 前，请先在RDS实例中开启SSL。具体...
迁移
PolarDB-X 提供了评估迁移工具，帮助您将数据库从 PolarDB-X 1.0 迁移至 PolarDB-X 2.0。相关概念 源实例：待迁移的 PolarDB-X 1.0 实例。源数据库（源库）：源实例中要进行迁移的数据库。目标实例：要迁移至的 PolarDB-X 2.0实例。目标...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据报错，是否有类似MySQL的-f参数，可以强制跳过错误数据继续进行上传？使用Tunnel Upload命令上传数据时，报错You cannot complete the specified operation under the current upload or download status，...
公共汇总粒度事实层（DWS）
公共汇总粒度事实层DWS（Data Warehouse Summary）以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总指标事实表。公共汇总层的一个表至少会对应一个派生指标。公共汇总事实表设计原则 聚集是指针对原始明细...
使用Spark SQL进行作业开发
本文介绍如何使用Spark SQL作业开发，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...
使用XIHE BSP SQL进行作业开发
本文介绍如何使用XIHE BSP SQL作业开发方式，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...
数据上云工具
DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
数据服务概述
相关概念 API（Application Programming Interface，应用程序编程接口）：API是让应用、软件、系统能够面向数据源进行数据交互的接口，数据服务API支持“读数据”的操作，可以从数据库、数据表中不断地进行数据查询。函数：作为API过滤器，...
常见报错
报错概览 配置备份计划时常见报错 源库测试连接失败 备份恢复预检查时常见报错 源库连接性检查失败 数据库权限检查失败 OSS检查失败 源库binlog开启检查失败 源库binlog模式检查失败 源库binlog_row_image是否为FULL检查失败 源库server_id...
功能简介
发现 可帮助用户完成数据资产申请、数据资产服务、数据资产共享。通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行可共享的数据资产的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的...
数据服务入门
DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...
解决方案与客户案例
每个单元内的业务架构分为接入层、服务层、数据层：接入层 业务流量通过租户侧DNS解析后按照权重分配到不同单元的接入层，进入接入层后，通过解析请求header/cookie中的分流标，对比自定义的分流规则，判断请求是否归属本单元，若归属本...
产品系列
支持简单易用的数据交换、处理、订阅等能力，满足数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向 云原生多模数据库 Lindorm 的一站式数据生态服务。更多信息，请参见 LTS服务介绍。不涉及 不停服数据迁移...
解决方案与客户案例
整个部署架构分多个地域，每个地域称为一个单元，其中某个单元又承担着整个多活架构的逻辑中心角色，提供一些中心化的服务能力（如Sequence分发、强一致读服务等），每个单元内的业务架构分为接入层、服务层、数据层：接入层：业务流量通过...
功能发布记录（2023年）
2023.3.15 所有地域 所有DataWorks用户 处理治理项问题 数据服务的加速服务启动商业化 加速服务面向MaxCompute数据源生成在线API服务，无需导出MaxCompute数据，即可提供良好的查询性能与效率，满足在线查询需求。2023.3.1 华东2（上海）、...
减灾与应急时空解决方案与案例
方案背景 华宁环球（北京）减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发，面向保险等行业及各级政府提供技术服务，数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...
- 产品推荐
- 这些文档可能帮助您