我是普通用户
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数据库高级特性管理
默认值为CHECKSUM，使用数据页的校验和进行验证。target_recovery_time_in_seconds 在发生故障时，数据库恢复所需的目标时间（秒）。默认值为60。compatibility_level 数据库与特定版本的兼容性级别。取值如下：100：Server 2008及更高版本...
面临的业务挑战
这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑增加了企业存储和使用数据的成本。分析不实时 企业运营的形式越来越多样化，...
JindoFS介绍和使用
Block模式轻运维，不用担心坏盘或坏节点，数据1备份放置在OSS上，支持上下线节点。支持对冷数据做透明压缩和归档，使用多种手段进行成本优化，对接对象存储，支持EB级数据规模。Block模式支持HDFS的一些重要特性。例如，HDFS AuditLog、...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
数据治理中心概述
使用限制 版本限制 目前仅支持DataWorks企业版及以上版本使用数据治理中心。DataWorks各版本介绍，详情请参见 DataWorks各版本详解；购买DataWorks，详情请参见 购买指引。地域限制 目前仅支持华北2（北京政务云）、华东2（上海金融云）、...
RDS SQL Server空间不足问题
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
支持的数据库
说明 若源端为DTS同步方案暂不支持的数据库类型（即在源端 数据库类型 中没有您数据库的选项），可以尝试使用数据投递功能。更多信息，请参见 数据投递。源为自建MySQL或RDS MySQL的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
DLF+EMR之统一权限最佳实践
业务场景说明 某公司有一个EMR集群，期望Hive/Spark/Presto/Impala引擎可以通过统一的数据权限，控制实际业务中不同用户使用数据的权限，主要分为以下几种情况：超级管理员 拥有数据湖上数据的所有权限，以及分配权限给其他人员的能力。...
产品优势
支持DIFF，压缩效果一般，并且编码后的数据无法检索 无 冷热分离 冷热数据自动分层，其中冷数据使用高压缩和高性价比存储，减少80%成本，热数据可提升访问性能15%，详情请参见 冷热分离介绍。不支持 不支持 扩展性与弹性 最小规模 1个节点...
产品优势
冷热分离 冷热数据自动分层存储，冷数据使用高压缩和廉价存储介质，减少70%成本，热数据可提升访问性能15%，请参见 冷热分离。不支持 存储介质 支持高效云盘、SSD云盘、本地HDD、本地SSD。支持冷存储（OSS）、容量型云盘（超性价比云盘，...
使用方法
您可以使用数据过滤器，自定义数据过滤代码，实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV资产数据过滤器的使用方法。背景信息 新版数据过滤器与旧版过滤器相比，取消了全局过滤器的概念（即各可视化应用共享过滤器...
文档更新动态（2022年之前）
华北2（北京）、华南1（深圳）、华东2（上海）、华东1（杭州）通用补数据实例 2020年11月 时间 特性名称 类别 描述 使用范围 产品文档 2020-11-17 支持安装资产安全策略 功能拓展 新增安装资产安全策略，安装后即可使用数据安全策略。...
概述
数据安全共享场景：您可以通过控制密钥的所有权，管理数据使用权和数据访问的频次，实现数据安全共享，避免数据泄露。场景如下图所示：版本介绍 Spark全密态计算引擎分为 基础版和高性能版两个版本，区别如下：基础版：基础版的Spark全密态...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
新功能发布记录
使用数据工作站功能可以提高数据交付效率和数据自助分析效率。数据工作站 2023年 11月 功能名称 变更类型 功能描述 相关文档 SQL备份与回滚 新增 使用DMS的SQL备份与回滚功能，快速将数据恢复到变更前的状态。SQL备份与回滚（公测中）SQL...
DataWorks On CDP/CDH使用说明
开始使用：数据集成 DataWorks数据集成提供CDP/CDH Hive数据的读取与写入的能力，并提供离线同步、全增量同步任务等多种数据同步场景。开始使用：数据建模与开发 DataWorks提供数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，...
什么是数据管理DMS
为什么选择数据管理DMS 全域数据资产：支持企业全域数据资产管理，提供贯穿数据生命周期的质量治理与安全治理，帮助企业快速地查找数据，高效地使用数据。数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据...
创建RDS MySQL数据订阅通道
结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅客户端过滤所需的数据。说明 如果选择整个库作为订阅对象，那么该库中新增对象的增量数据也可以被订阅到。如果选择某个表作为订阅对象，那么只有这个表的增量数据...
数据模型架构规范
您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当的冗余，即宽表化处理。公共汇总粒度事实层：以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段来物理化...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
数据脱敏
脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏后的数据保存到您选择的目标位置。动态脱敏：相对于静态脱敏，动态脱敏更加灵活，可以直接脱敏指定数据。每次脱敏的数据必须小于2 MB。前提...
文档修订记录
独享数据服务资源组 独享数据服务资源组计费说明：包年包月 2023.11.21 新增功能 数据保护伞 使用数据保护伞识别敏感数据时，可基于脱敏场景配置数据脱敏规则。数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种...
新建数据探查任务
前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB for PostgreSQL、ArgoDB、StarRocks时，不支持数据探查功能。当数据表类型为元表、镜像表、标签逻辑表时，不支持使用数据探查功能。当数据表的存储...
数据源配置常见问题
在使用数据源时，API、阿里云API网关和Open API这三种类型该如何选择？数据源类型 介绍 在DataV中的应用场景 API 通用的数据接口。如果您有直接可用的API，可使用DataV的API数据源连接。例如，已有站点提供的接口，或已购买的云服务搭建的...
功能发布记录（2022年）
数据治理中心功能如下：通过从存储、计算、开发、质量和安全五个维度量化评估治理健康分，可自动发现和预防各类数据治理问题。提供任务资源消耗明细、资源消耗整体趋势、单任务费用预估等丰富功能，可帮助您对各类资源使用费用进行有效的...
同步数据
详细操作步骤请参见 使用数据集成迁移数据至分析型数据库MySQL版。通过Kettle将关系型数据库、Hbase等NoSQL数据源，以及Excel、Access中的数据导入分析型数据库MySQL版中，详细操作步骤请参见 使用kettle将本地数据导入分析型数据库MySQL版...
恢复库表
重要 云盘实例使用库表恢复功能恢复数据到原实例时，不会进行主备切换，但某些情况下恢复可能会影响原实例性能，甚至出现实例切换。实例切换的影响请参见 实例切换的影响。恢复任务发起后不支持暂停或取消。使用限制 本地盘实例的极速库表...
数据源配置常见问题
在使用数据源时，API、阿里云API网关和Open API这三种类型该如何选择？数据源类型 介绍 在DataV中的应用场景 API 通用的数据接口。如果您有直接可用的API，可使用DataV的API数据源连接。例如，已有站点提供的接口，或已购买的云服务搭建的...
数据质量入门
您可直接使用数据质量提供的模板规则，也可自定义规则。DataWorks支持自定义规则强弱，控制规则产生的影响，当数据质量校验不符合预期时，用于决定是否自动拦截问题任务、阻断脏数据向下游蔓延。规则创建后默认为强规则，您可根据实际情况...
数据服务概述
说明 如果使用数据服务过程中遇到问题，请单击 群邀请 加入DataWorks交流群|主群进行咨询。相关概念 API（Application Programming Interface，应用程序编程接口）：API是让应用、软件、系统能够面向数据源进行数据交互的接口，数据服务API...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
使用示例
本文以 轮播列表柱状图 组件，使用数据过滤器筛选出B站网页内的每日推荐数据为例，为您演示数据过滤器的详细使用方法。前提条件 在可视化应用编辑器页面，添加所需要的 轮播列表柱状图 组件，详情请参见 添加资产。操作步骤 登录 DataV控制...
Kafka实时入湖
Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 类型 说明 key binary Kafka消息key value binary Kafka消息体 topic string Kafka topic partition int Kafka分区...
生成数据API
如果没有开通Hologres，也可以使用 数据开发 的MySQL数据源来测试。操作步骤 由于数据服务生成的API需发布至网关统一管理。若您未开通API网关，请 免费开通；若您已开通，请跳过此步骤。新建业务流程。业务名称：retail_e_commerce_2。API...
从自建Redis迁移至Tair实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至 云原生内存数据库Tair 实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis...
- 产品推荐
- 这些文档可能帮助您