ApsaraDB For OceanBase数据

是 无 splitPk ApsaraDB For OceanBase Reader进行数据抽取时,如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片,数据同步因此会启动并发任务进行数据同步,提高数据同步的效能。推荐 splitPk 用户使用表主键,因为表...

ClickHouse数据

是 无 splitPk ClickHouse进行数据抽取时,如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片,数据同步因此会启动并发任务进行数据同步,提高数据同步的效能。说明 当配置了splitPk时,fetchSize参数为必填项。否 无 ...

创建全球数据库网络

全球数据网络(Global Database Network,简称GDN)是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络网络中所有集群的数据均保持同步。当您的业务部署在多个地域时,利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...

快照概述

数据库文件系统快照基于云盘快照,它是一种便捷高效的数据容灾手段,用于对文件系统的数据进行备份。什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件,文件系统部署在云盘上,因此文件系统快照服务实际上...

数仓分层

基于阿里巴巴OneData方法论最佳实践,在阿里巴巴的数据体系中,建议将数据仓库分为三层:数据引入层(ODS,Operational Data Store)、数据公共层(CDM,Common Dimensions Model)和数据应用层(ADS,Application Data Store)。数据仓库...

常见问题

PolarDB数据网络联通性测试失败怎么办?Oracle数据网络联通性测试失败怎么办?MySQL数据网络联通性测试失败怎么办?实时任务,运行报错:...

概述

AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征,并利用特征向量作为非结构化数据的唯一标识,帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中,绝大多数的数据都...

查询和修改数据复制方式

您可以根据自身业务特点,设置RDS MySQL主备实例之间的数据复制方式,以提高数据库可用性。前提条件 实例满足以下条件:MySQL 5.7、8.0高可用系列(本地SSD盘)MySQL 5.7、8.0高可用系列(ESSD云盘),且内核小版本必须大于或等于...

2023年

2023-12-20 全部地域 网络开通流程 2023-11 功能名称 功能描述 发布时间 发布地域 相关文档 支持增加TableStore外表脏数据处理配置 在读取TableStore外表数据时,用户可以配置遇到脏数据时的处理逻辑。2023-11-22 全部地域 Tablestore外部...

API概览

本产品(云数据库 ...全球数据网络(GDN)管理 API 标题 API概述 CreateGlobalDatabaseNetwork 新建全球数据网络 创建一个新的全球数据网络(GDN)。DeleteGlobalDatabaseNetwork 删除全球数据网络 删除全球数据网络(GDN)。...

数据传输作业:数据集成

离线同步 离线(批量)的数据通道通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(Reader)、数据写入插件(Writer),并基于此框架设计一套简化版的中间数据传输格式,从而实现任意结构化、半结构化数据源之间...

常见问题

PolarDB数据网络联通性测试失败怎么办?MySQL数据网络联通性测试失败怎么办?实时任务,运行报错:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务,运行报错:...

约束和限制

目录下面采样最新和最老的文件,每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式,不会发现修改前的数据 一键建仓/多库合并支持的数据网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...

全增量同步任务常见问题

PolarDB数据网络联通性测试失败怎么办?OceanBase数据网络联通性测试失败怎么办?MySQL数据网络联通性测试失败怎么办?全增量实时至MaxCompute时,数据源被置灰了没法选择怎么办?实时任务,运行报错:...

资源组操作及网络连通

数据同步网络连通问题 在做离线同步时,我们需要先了解哪些DataWorks及其网络能力?同步ECS自建的数据库的数据时,如何保障数据库与DataWorks的网络连通?数据库和DataWorks不在同一个地域(Region)下,进行数据同步时如何保障数据库与...

创建数仓分层

各个分层的功能介绍如下:数据引入层 ODS(Operational Data Store)ODS层用于接收并处理需要存储至数据仓库系统的原始数据,其数据表的结构与原始数据所在的数据系统中的表结构一致,是数据仓库的数据准备区。ODS层对原始数据的操作具体...

基本概念

以下是为栅格数据集创建的4级金字塔示例:金字塔最大的优点是仅检索使用指定分辨率(取决于显示要求)的数据,从而可以极大提高栅格数据的访问速度。利用金字塔,可在绘制整个数据集时快速显示较低分辨率的数据分块。而随着放大操作的进行...

配置数据网络

本文主要介绍Serverless Spark如何配置数据网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...

功能特性

计算 MaxCompute向用户提供了多种...数据公网下载 数据传输独享资源 数据传输服务(包年包月)资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组,保障了数据传输资源的独享性,并提高数据传输的稳定性。数据传输独享资源

通过DataWorks导入数据

DataWorks提供了可视化的数据导入方式,相对于通过外表导入,DataWorks导入的方式更为轻量化,适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版(原DRDS)的数据导入至 AnalyticDB MySQL版 湖仓版(3.0)或...

通过整库迁移配置集成任务

离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务,MaxCompute等数据源。本文为您介绍如何新建并配置整库迁移任务。功能介绍 离线整库迁移是一个提升用户效率、降低用户使用成本的一种快捷工具。相对于离线...

使用公共资源组

数据网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成(调试)资源组 公共数据集成(调试)资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...

创建MySQL数据

数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

跨阿里云主账号访问

您在跨账号进行数据同步任务之前,需要设置并确保执行任务的独享数据集成资源组,与源端及目标端数据库之间的网络连通性。本文将为您介绍在使用跨阿里云账号时,数据库与DataWorks工作空间之间的网络连通操作。背景信息 网络连通方案选择取...

通用参考:添加路由

如果添加路由后,仍然存在网络连通问题,请根据如下因素进行排查:如果独享资源组访问的是本地IDC数据源,或者跨账号访问数据源,请先参考 配置资源组与网络连通 进行网络连通,再为独享资源组绑定与数据网络连通的VPC。如果您的数据源已...

Kafka实时ETL同步至Hologres

数据输出预览 窗口,您可以根据需要修改输入数据,或者单击 手工构造数据 按钮自定义输入数据,然后单击 预览 按钮,查看当前数据处理节点对数据的处理结果,当数据处理节点处理异常,或者产生脏数据时,也会实时反馈异常信息,能够帮助...

使用DataWorks

MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时,您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...

创建Hologres数据

新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据,及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中,您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...

创建PostgreSQL数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据源与Dataphin网络互通。具体操作,请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...

创建ClickHouse数据

通过创建ClickHouse数据源能够实现Dataphin读取ClickHouse的业务数据或向ClickHouse写入数据。本文为您介绍如何创建ClickHouse数据源。背景信息 如果您使用的是数据库ClickHouse,引入ClickHouse的业务数据至Dataphin中或将Dataphin数据...

创建Microsoft SQL Server数据

前提条件 若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据源与Dataphin网络互通。具体操作,请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...

创建PolarDB数据

数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

目标数据库连接性检查

为保障数据迁移任务的顺利执行,在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查...网络互通问题 经过上述排查后仍然无法通过目标数据库连接性检查,可能是DTS服务器与目标数据网络互通问题。

元数据采集

DataWorks数据地图为您提供 元数据采集 功能,方便您将不同系统中的元数据进行统一汇总管理,您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器,将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...

源库连接性检查

网络互通问题 经过上述排查后仍然无法通过源库连接性检查,可能是DTS服务器与源数据网络互通问题。您可以 通过钉钉(钉钉通讯客户端下载地址)进入到DTS客户交流钉钉群(群号:68325004196或68640008972),进行咨询。

创建PolarDB-X数据

通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X(原DRDS升级版)是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...

Kafka单表实时入湖OSS(HUDI)

数据输出预览 窗口,您可以根据需要修改输入数据,或者单击 手工构造数据 按钮自定义输入数据,然后单击 预览 按钮,查看当前数据处理节点对数据的处理结果,当数据处理节点处理异常,或者产生脏数据时,也会实时反馈异常信息,能够帮助...

ClickHouse整库数据离线同步至Hologres

准备独享数据集成资源组并与数据网络连通 在进行数据同步前,需要完成您的独享数据集成资源组和数据源的网络连通,详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域,可使用同地域VPC内网连通独享资源组和数据...

离线同步任务运维

数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控,您可以进入数据质量规则页面,对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表,当表关联的调度节点运行(执行节点代码逻辑)完成后...

配置VPC数据

本文介绍在DataV中配置专有网络VPC(Virtual Private Cloud)内数据源的方法。通过专有网络VPC数据源的配置,您可以将专有网络VPC内的数据库接入到DataV中,并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC,详情请参见 什么是...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用