功能概览
1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
数据集成
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...
数据集成
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...
更多数据同步方案
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...
功能简介
从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可将多系统的状态信息进行上报汇总和集中推送。提供自定义监控链路配置能力，快速实现从数据生产到数据应用的全链路编排及溯源和监控节点的稳定性分析。...
全景监控
从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可将多系统的状态信息进行上报汇总和集中推送。提供自定义监控链路配置能力，快速实现从数据生产到数据应用的全链路编排及溯源和监控节点的稳定性分析。...
功能简介
从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可将多系统的状态信息进行上报汇总和集中推送。提供自定义监控链路配置能力，快速实现从数据生产到数据应用的全链路编排及溯源和监控节点的稳定性分析。...
DataWorks数据集成
该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息，请参见 数据集成（Data Integration）和 支持的数据源与读写插件...
DataHub通过数据集成批量导入数据
该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可以为20多种数据源提供不同网络环境下的离线数据进出通道。本文以配置DataHub数据源为例，如果您需要使用其它类型的数据源配置同步任务，请参见 支持的数据源及...
功能更新动态（2024年）
创建行为偏好标签 创建行为统计标签 标签资产市场概述 通过表映射创建离线数据集 通过SQL加工创建离线数据集 通过表单加工创建离线数据集 跨租户发布 新增全局变量、质量规则属性跨租户发布。在导入和导出发布包时，支持根据数据对象的ID或...
恢复方案概览
登录临时实例 通过临时实例恢复SQL Server数据 跨地域恢复数据 跨地域恢复数据 恢复RDS备份文件至自建数据库 先 下载备份文件，再将备份文件恢复至自建数据库。数据迁移上云 迁移/恢复到新的RDS实例 全量备份数据上云（SQL Server 2008 R2...
备份方案概览
场景 功能 相关操作 执行备份 全量备份 使用RDS控制台：备份PostgreSQL数据 使用pg_basebackup工具：实例级别全量备份pg_basebackup 库表备份 逻辑备份PostgreSQL数据 跨地域备份（异地备份）跨地域备份 跨账号备份 跨阿里云账号数据备份和...
查询概述
云数据库 SelectDB 版 高度兼容MySQL相关生态，支持湖仓一体化，并确保了上游与下游数据生态系统的无缝整合。本文介绍SelectDB在查询方面的能力概述。基础能力 云数据库 SelectDB 版 支持标准SQL语法，在SQL方言方面向MySQL兼容。采用MySQL...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
产品概述
高可用，服务永远在线 支持分布式事务，数据ACID一致性支持，所有节点和数据跨机器冗余部署，任意硬件故障，自动化监控切换，保持服务在线。广泛生态兼容 支持主流BI、ETL工具。通过PostGIS插件支持地理信息数据分析，MADlib库内置超过300...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
基本概念
实例所占用的磁盘容量除集合数据外，还有实例正常运行所需要的空间，如系统数据库、数据库回滚日志、重做日志、索引等。请确保云数据库MongoDB实例具有足够的磁盘容量来存储数据，否则可能导致实例被锁定。若因磁盘容量不足导致实例被锁定...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
MaxCompute数据迁移
目前由于安全合规问题，不允许使用copytask开通数据跨境复制。如果同一个国家内的项目开通copytask复杂任务，则默认有效期为一个月，到期后会自动关闭。要求源项目开启copytask开关，您可以通过 申请链接 申请开启源项目的copytask开关。...
图扑案例
为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据，如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
发布包总览概述
跨租户发布使用人 且（为 超级管理员 或 系统管理员）数据质量 质量模板、质量规则 跨租户发布使用人 且（为 超级管理员 或 系统管理员）数据安全 安全规则、识别结果、密钥 跨租户发布使用人 且（为 超级管理员 或 系统管理员）建议发布...
发布包总览概述
跨租户发布使用人 且（为 超级管理员 或 系统管理员）数据质量 质量模板、质量规则 跨租户发布使用人 且（为 超级管理员 或 系统管理员）数据安全 安全规则、识别结果、密钥 跨租户发布使用人 且（为 超级管理员 或 系统管理员）建议发布...
数据库管理
您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE 命令创建一个新的数据库，命令如下：CREATE DATABASE[[WITH][OWNER...
MySQL灾备恢复演练
您可以通过该功能验证备份数据的准确性与容灾系统的可靠性，确保当发生数据灾难时，容灾系统能够顺利接替生产系统并继续对外提供服务。背景信息 通常在灾难发生时，可能由于恢复流程不熟练或备份源数据有误等原因导致恢复失败。为避免这种...
挂载文件系统场景说明
具体操作，请参见以下文档：同地域跨VPC挂载文件系统 跨账号挂载文件系统 本地数据中心访问文件系统 如果您本地数据中心的服务器需要访问NAS文件系统，您可以通过以下两种方式挂载访问。通过VPN网关实现本地数据中心访问阿里云NAS 通过NAT...
我是普通用户
跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。库表结构 结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作,此时可以使用DMS的结构设计功能。库表同步 库表同步...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
我是安全管理员
跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。数据库开发 数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。结构设计 在新项目、新需求或者优化等业务场景中，一般会...
我是DBA
跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供快速进行数据分析、访问服务和跨库查询。数据库开发 结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等...
ETL工作流快速体验
智慧城市人口财产主题分析 DataWorks MaxCompute 数据开发 以人口、房产等相关数据整合与人口特征提取为例，使用DataStudio 数据开发 模块。通过数据加工处理，并设置调度策略，实现数据处理的自动化，从而向您展示智慧城市项目下数据加工...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
解决方案与客户案例
异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展，越来越多的信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为破坏...
实时同步任务延迟解决方案
说明 实时同步任务从一个系统读数据，并将数据写入另一个系统，当写数据比读数据慢时，则读数据一侧的系统会受到反压，导致速度变慢。即造成瓶颈的系统可能会由于反压导致另一侧系统的一些异常，此时要优先关注造成瓶颈的系统的异常情况。...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
我是管理员
跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供快速进行数据分析、访问服务和跨库查询。安全与规范 安全规则 配置安全规则能够让所有SQL在执行前经过安全规则检验，通过后才能正常...
- 产品推荐
- 这些文档可能帮助您