EMR+DLF数据湖解决方案
从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现数据入湖到DLF中。可参考如何在Flink 管理DLF Catalog。步骤四：通过Spark/Presto引擎查询DLF表 通过ssh登录到EMR集群的emr-header-1节点。1.通过spark-sql查询表...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
新功能发布记录
PostgreSQL数据库管理 PostgreSQL数据库账号权限管理 04月 功能名称 变更类型 功能描述 相关文档 数据安全防护 新增 数据安全防护能为数据库实例生成的代理地址，为应用程序调用企业数据库带来更全面的安全管控、访问控制、数据脱敏以及...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
识别任务说明
数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据（TableStore、MaxCompute等）：采样取表中的前200行数据，仅扫描采样数据...
PolarDB MySQL版间的双向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
DataV产品与BI类产品的差异比较
对比项 BI商业智能软件 DataV数据可视化产品 目标用户 业务分析师 应用开发人员 产品类别 BI报表 可视化分析应用 使用场景 偏向商业分析：零售客户分析、互联网运营分析和企业经营分析等 全行业应用：政务系统、交通运输、能源动力、公安...
应用场景
数据库备份DBS 提供数据全量备份、增量备份、异地备份以及数据恢复等功能，帮助您实现多种典型应用场景。典型场景 应用场景 相关操作文档 备份安全 跨阿里云账号备份恢复数据 通过公网地址实现数据库跨账号备份 备份集自动归档到备份服务器...
DataV产品与BI类产品的差异比较
对比项 BI商业智能软件 DataV数据可视化产品 目标用户 业务分析师 应用开发人员 产品类别 BI报表 可视化分析应用 使用场景 偏向商业分析：零售客户分析、互联网运营分析和企业经营分析等 全行业应用：政务系统、交通运输、能源动力、公安...
PolarDB MySQL版间的双向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
创建安全规则
安全规则是通过一组领域专用语言DSL（Domain Specific Language）对数据库实现精细化管控的规则集合，您在使用DMS的查询、导出、变更等功能时，可以通过安全规则管控这些功能行为，从而在平台内制定和打造数据库的操作规范和研发流程。...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
产品概述
DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、移动端报表等各类数据可视化应用的搭建，并集成到您的业务系统中。...
什么是智能对话机器人
可基于系统内置IM，灵活配置IM界面、能力及对话交互形态，充分满足不同渠道不同业务差异化接待需求。弹性扩容：支持动态弹性扩容，系统根据企业实际用量自动升降配，确保服务平稳可用。应用场景 本产品广泛应用于对话式交互业务场景，可...
功能发布记录 2022年之前
您可以购买该功能模块，将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化输出，在数据全生命周期上夯实数据基础，为数据价值化提供有力支撑。2021.02.20 全部地域。DATABLAU数据建模计费标准 ...
MySQL实例间的双向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB PostgreSQL版间的迁移
预检查完成后，DTS会将源实例中待同步对象的全量数据在目标集群中初始化，作为后续增量同步数据的基线数据。说明 同步类型需要全选。同步拓扑 单项拓扑：只建立源库到目标库的单项同步链路，包括存量数据及增量同步链路。双向同步：建立源...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
行业趋势与背景
在这种需求下，大规模分布式事务型数据库成为解决分布式系统数据存储、管理的主要方向。PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化...
什么是PolarDB PostgreSQL企业版
数据结构多样时，可以选择将结构化数据存储在PolarDB，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。DTS：您可以使用数据传输服务DTS将本地数据库迁移到云上的 PolarDB。OSS：对象存储服务OSS是阿里云提供的海量、安全、低成本...
无感集成（Zero-ETL）
ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据同步和管理，实现事务处理和数据分析一体化，帮助客户专注...
文档更新动态（2022年之前）
新功能 创建Impala数据源、新建AnalyticDB for MySQL 3.0数据源、Dataphin支持的数据源 2021年08月24日 数据集成：数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化 新增...
权限管理与规范化数据开发
进入 数据建模 阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案，我们将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS同步到云原生数据仓库AnalyticDB MySQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
创建数仓分层
数仓分层是结合对业务场景、实际数据、使用系统的综合分析，对数据模型进行的整体架构设计及层级划分。用于将不同用途的数据，归类划分至不同的分层，便于您更好地组织、管理、维护数据。本文为您介绍如何创建并管理数仓分层。背景信息 ...
使用DTS将腾讯云MongoDB增量迁移至阿里云
DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成腾讯云MongoDB数据库的迁移。背景信息 当您因业务调整或需要使用阿里云MongoDB特性功能时，您可以使用DTS工具，通过 增量数据迁移 方法，...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
功能特性
此外，OceanBase 数据库支持超大规模集群（节点超过 1500 台，最大单集群数据量超过 3 PB，单表数量达到万亿行级别）动态扩展，在 TPC-C 场景中，系统扩展比可以达到 1:0.9，使用户投资的硬件成本被最大化的利用。高可用 OceanBase 数据库...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
使用DTS将MongoDB Atlas数据库迁移至阿里云
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据迁移。在 迁移任务列表 页面顶部，选择阿里云MongoDB实例所属地域。定位至已购买的数据迁移实例，单击 ...
使用DTS将MongoDB Atlas数据库迁移至阿里云
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据迁移。在 迁移任务列表 页面顶部，选择阿里云MongoDB实例所属地域。定位至已购买的数据迁移实例，单击 ...
- 产品推荐
- 这些文档可能帮助您