全增量同步任务运维
强制重跑 在某些特殊情况下，例如发现源端数据被污染、数据链路出现问题等，您可以单击 操作 列 更多>强制重跑 强制对源端所有表进行全增量初始化操作，将源端数据重新迁移到目标表中，以快速恢复数据。说明 仅Hologres和MaxCompute支持...
划分数据域
数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于数据的管理和应用。划分数据域 通常，您需要阅读各源系统的设计文档、...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
数据质量教程概述
在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工环节（数据仓库CDM及ADS层）中表行数是否大于0、表行数波动是否正常以及字段是否出现空值或重复的情况。准确性 准确性是指数据记录中信息和数据是否...
数据质量教程概述
在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工环节（数据仓库CDM及ADS层）中表行数是否大于0、表行数波动是否正常以及字段是否出现空值或重复的情况。准确性 准确性是指数据记录中信息和数据是否...
数据源权限管理
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
升级数据库大版本
支持升级的数据库大版本 云数据库 MongoDB 版 控制台可以直接升级数据库大版本，但不同产品架构、不同版本的实例支持升级的版本不同，具体情况如下：产品架构 规格类型 实例的数据库大版本 可升级到的数据库大版本 单节点架构 通用型云盘版...
应用评估
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
数据库管理
每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：如果一个Lindorm时序引擎实例计划包含不相关的项目数据，在很大程度上，彼此之间是隔离的。那么在这种情况下，建议将它们放到单独的...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
ECS实例说明
大数据量（10 TB或以上）情况下，推荐使用大数据机型，可以获得极高的性价比。重要 当Core核心实例使用本地盘时，HDFS数据存储在本地盘，需要您自行保证数据的可靠性。Task计算实例 用于补充集群的计算能力，可以使用除大数据型外的所有...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
自建Oracle迁移至PolarDB-X
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
自建Oracle同步至PolarDB-X 2.0
实际业务写入编码 您可以根据实际情况，选择数据写入目标端的编码类型。配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置...
性能监控常见问题
本文介绍了在使用性能监控功能过程中的常见问题。如何查看集群的最大连接数？...为什么IOPS一直处于较高水位 检查是否存在大事务，并通过 性能洞察（旧版）功能快速评估数据库负载情况，来找到引发性能问题的源头，以提升数据库的稳定性。
自建Oracle迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
支持识别的行业模板
一级分类 二级分类 敏感等级 识别规则 环境感知类数据 车辆外部环境感知数据 S2 道路情况 S2 路面情况 S2 道路限速情况 S2 信号灯分布情况 S2 信号灯状态信息 S2 路灯状态信息 S2 道路拥堵情况 S2 交通事故情况 S2 位置信息 S2 天气 S3 ...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，本案例选择 华东1 区。单击 创建Project，输入 名称 和 描述，创建一个DataHub项目。本案例的...
新建 PolarDB-X 2.0 数据源
背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的云原生分布式数据库，为您提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件...
ODS层设计规范
数据同步及处理规范 数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成，规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。数据加载与处理 通过一键实时同步至MaxCompute方案实现，请参见 ...
运营
数据指标数趋势分析：展示未公开及已公开的资产过去7天、过去30天、过去90天及自定义时间范围内的指标趋势图。运营分析：展示未公开及已公开的资产，对全租户下已注册的资产，围绕注册资产的运营阶段（注册-公开-使用），了解各阶段下的多...
功能简介
数据指标数趋势分析：展示未公开及已公开的资产过去7天、过去30天、过去90天及自定义时间范围内的指标趋势图。运营分析：展示未公开及已公开的资产，对全租户下已注册的资产，围绕注册资产的运营阶段（注册-公开-使用），了解各阶段下的多...
功能简介
数据指标数趋势分析：展示未公开及已公开的资产过去7天、过去30天、过去90天及自定义时间范围内的指标趋势图。运营分析：展示未公开及已公开的资产，对全租户下已注册的资产，围绕注册资产的运营阶段（注册-公开-使用），了解各阶段下的多...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
自建Oracle间迁移
实际业务写入编码 您可以根据实际情况，选择数据写入目标端的编码类型。配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
自建Oracle迁移至RDS PostgreSQL
实际业务写入编码 您可以根据实际情况，选择数据写入目标端的编码类型。配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置...
自建Oracle迁移至云原生数据仓库 AnalyticDB ...
实际业务写入编码 您可以根据实际情况，选择数据写入目标端的编码类型。配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置...
自建Oracle迁移至自建PostgreSQL
实际业务写入编码 您可以根据实际情况，选择数据写入目标端的编码类型。配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战...
- 产品推荐
- 这些文档可能帮助您