权限管理与规范化数据开发
本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程，帮助您快速掌握规范化的数据体系建设流程，提升在数据开发过程中的规范性、安全性、稳定性。背景信息 DataWorks采取RBAC权限模型供用户管理DataWorks所有...
DMS数据管理预案助力业务大促
开启数据水印功能 您可以在DMS中开启 防泄露数字水印 功能，系统将在整个控制台中同时提供水印，保障您的数据信息安全，防止截图等数据泄露事件。具体操作，请参见 防泄露数字水印。敏感数据管控 有效识别敏感数据的分布，进行细粒度权限...
什么是EMR Serverless StarRocks
使用数据湖的优势在于可以使用开放的存储格式和灵活多变的Schema定义方式，可以让BI、AI、AdHoc、报表等业务维持在统一的单点身份可信（Single Source of Truth），而StarRocks作为数据湖的计算引擎，可以充分发挥向量化引擎和CBO（Cost ...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：通常在OLTP场景中，为提高业务表响应速度，通常会做分库分表处理。而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：通常在OLTP场景中，为提高业务表响应速度，通常会做分库分表处理。而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储...
从PolarDB MySQL版同步至RDS MySQL
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。选择同步对象 在 源库对象 框中单击待同步的对象，然后单击 图标将其移动至 已选择对象 框。同步对象的选择粒度为库、表。说明 如果选择整个库作为同步...
云数据库Redis版产品选型必读
将 Redis 作为持久化数据存储使用的业务。单个 Redis 性能压力可控的场景。命令相对简单，排序和计算之类的命令较少的场景。集群架构 由代理节点、数据分片和配置服务器组件构成，可通过增加数据分片的方式实现横向扩展。每个数据分片均为...
从RDS MySQL同步至PolarDB MySQL版
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。选择同步对象 在 源库对象 框中单击待同步的对象，然后单击 图标将其移动至 已选择对象 框。同步对象的选择粒度为库、表。说明 如果选择整个库作为同步...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
什么是MaxCompute
数据生态支持 MaxCompute与阿里云DataWorks深度结合，可通过DataWorks实现一站式数据开发分析治理，同时也支持其他多种数据开发分析场景：数据湖 数据集成 数据治理 三方引擎的数据开发 数据可视化分析 TopConsole（管理控制台）提供...
数据开发概述
进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。数据开发主要功能 数据开发（DataStudio）的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。...
2024年
2024年04月更新记录 时间 特性 类别 描述 产品文档 2024-04-28 新增MaxCompute近实时增全量一体化架构介绍 新说明 面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Transaction Table2.0推出了集大规模存储、高效...
从PolarDB MySQL版同步至Elasticsearch
查看同步后的索引和数据 数据同步作业处于 同步中 状态后，您可以连接Elasticsearch实例（本案例使用 Head插件 进行连接），确认创建的索引和同步的数据是否符合业务的预期。说明 如果不符合业务预期，您可以删除该索引及对应的数据，然后...
网易有数BI连接MaxCompute
本文为您介绍如何使用网易有数BI连接MaxCompute项目，并进行可视化数据分析。背景信息 网易有数BI是新一代敏捷数据可视化分析平台，是包含了数据填报、自助式ETL、可视化建模、可视化报告、数据大屏、数据门户、指标预警等的全功能平台。...
从ECS上的自建MySQL同步至PolarDB MySQL版
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。选择同步对象 在 源库对象 框中单击待同步的对象，然后单击 图标将其移动至 已选择对象 框。同步对象的选择粒度为库、表。说明 如果选择整个库作为同步...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源，且不再支持DDL同步。选择为 否：默认选项，支持DDL同步。说明 多表归并...
数据开发：开发者
说明 目前DataWorks的节点分为数据同步类型节点与计算类型节点两大类，实际开发过程中，您通常需要先通过离线同步任务将业务数据库中的数据同步至数仓中，再通过DataWorks计算节点对数仓中的表数据进行清洗加工。创建节点。您可通过如下两...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源，且不再支持DDL同步。选择为 否：默认选项，支持DDL同步。说明 多表归并...
应用场景
DBS通过IPSec VPN备份自建数据库 通过专线访问的本地自建数据库备份到云存储 Redis备份上云 快速恢复 库表级恢复 自建MySQL云灾备 应急恢复 日常业务中可能涉及数据备份、数据恢复的场景。但常常会存在恢复时间长，海量数据备份成本高，...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
功能特性
分区表 外部表 OSS外部表 可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。OSS外部表 Tablestore外部表 将Tablestore的数据纳入MaxCompute上的计算生态，实现多种数据源之间的无缝连接...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华北2（北京）、华东1...
PolarDB MySQL同步至AnalyticDB for PostgreSQL
若源库待同步的数据中存在日期类型的数据 0000-00-00 00:00:00，则可能会导致任务失败。说明 DTS将该日期数据同步到目标库时会转换为 null。您可以临时将源库数据修改为 0001-01-01 00:00:00，或者将目标库对应字段设置为可空。费用说明 ...
从ECS上的自建MySQL同步至Elasticsearch
查看同步后的索引和数据 数据同步作业处于 同步中 状态后，您可以连接Elasticsearch实例（本案例使用 Head插件 进行连接），确认创建的索引和同步的数据是否符合业务的预期。说明 如果不符合业务预期，您可以删除该索引及对应的数据，然后...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
跑马灯
图表样式 跑马灯是文字组件的一种，支持自定义文本的内容、颜色、动画效果等，能够将组件中的溢出文本以跑马灯动画的形式展示在可视化应用中。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的...
从ECS上的自建SQL Server同步至云原生数据仓库...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：通常在OLTP场景中，为提高业务表响应速度，通常会做分库分表处理。而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
离线同步能力说明
您可以通过定义来源与去向数据源，并通过数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、半结构化数据源之间数据传输。详情请参见：支持的数据源与读写能力。复杂网络环境下的数据同步 离线同步支持云...
从RDS同步至MaxCompute
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。选择同步对象 在 源库对象 框中单击待同步的表，然后单击 将其移动至 已选择对象 框。说明 同步对象支持选择的粒度仅为表，您可以从多个库中选择表作为...
从RDS同步至MaxCompute
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。选择同步对象 在 源库对象 框中单击待同步的表，然后单击 将其移动至 已选择对象 框。说明 同步对象支持选择的粒度仅为表，您可以从多个库中选择表作为...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
若源库待同步的数据中存在日期类型的数据 0000-00-00 00:00:00，则可能会导致任务失败。说明 DTS将该日期数据同步到目标库时会转换为 null。您可以临时将源库数据修改为 0001-01-01 00:00:00，或者将目标库对应字段设置为可空。费用说明 ...
使用ETL分析实时订单
步骤 说明 准备工作 将实时交易数据、业务维度数据存储在源表中，并根据业务需求创建目标表。说明 本案例中实时交易、业务维度表、目标表均存储在RDS MySQL中。步骤一：配置源库信息 将实时交易数据配置为流表，业务维度数据配置为维表。...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
RDS MySQL同步至AnalyticDB for PostgreSQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
我是安全管理员
数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比等。数据分析 数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。数据服务 数据...
- 产品推荐
- 这些文档可能帮助您