MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
修改数据复制方式
您可以根据自身业务特点，设置MyBase MySQL主备实例之间的数据复制方式，以提高数据库可用性。前提条件 实例要求如下：MySQL 8.0高可用版（本地SSD盘）MySQL 5.7高可用版（本地SSD盘）MySQL 5.6高可用版（本地SSD盘、ESSD云盘）复制方式...
数据格式描述文件
是 parser parser部分决定了您的数据如何被正确地解析，metricsSpec定义了数据如何被聚集计算，granularitySpec定义了数据分片的粒度、查询的粒度。对于parser，type有两个选项：string和hadoopString，后者用于Hadoop索引的 job。...
产品功能
数据和实例安全 TSDB 提供以下方案保证您的数据和实例的安全：提供 VPC 的实例访问方式，充分保证实例访问的安全性。提供网络白名单功能：您可以通过设置允许访问实例的机器名单，进一步保证实例和数据的访问安全。如果一台机器在 VPC 内部...
Schema约束
不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎基于对时序领域中业务数据模型的理解与洞察，抽象出了 时序数据表 这一概念。因此，开发者在开发...
数据流运维
在 操作 列中，对不同执行状态的数据流进行 终止、重跑、暂停、恢复 和 置成功 的操作。说明 对于执行成功的数据流，可以进行重跑操作。对于执行失败的数据流，可以将该数据流运行记录的状态置为成功。对于执行中的数据流，可以终止或暂停...
常见问题
本文介绍购买数据安全中心前的常见...如何满足安全性要求 在获取数据库授权的情况下，数据安全中心会以数据采样的方式进行敏感数据识别，不会对数据库中的数据进行保存。数据安全中心是否支持统一管理跨阿里云账号的数据资源？目前暂不支持。
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
接入数据库
数据库连接方式说明 连接类型 说明 支持的数据资产类型 一键连接 指通过控制台按钮一键连接数据库的方式。在连接过程中，数据安全中心 会针对目标数据资产添加只读账号，数据安全中心 通过该账号连接目标数据库，从而进行数据识别任务；...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
数据扫描和识别
已获取授权的情况下，DSC 会登录到数据库内以数据采样的方式对数据进行敏感识别，DSC 不会保存您MaxCompute项目、数据库中的数据。目前存在哪些触发重新扫描的场景？目前，DSC 会在以下场景中自动触发对已授权数据源中的数据进行重新扫描。...
数据倾斜诊断
目前 AnalyticDB PostgreSQL版 支持的数据分布方式有如下三种：随机（RANDOMLY）分布 该分布方式的表无法充分利用数据的特征。例如，多表关联查询场景下无法采用本地关联（Collocated Join），从而导致查询性能不如采用基于分布键HASH值...
基本概念
该方式的优点在于第0层为原始数据分辨率，保持了数据原始的数据信息，而且数据分块速度快，图像更新方便，查询效率高。但缺点是不同栅格数据没有统一的数据分块方式，不便于进行叠加分析。Ganos Raster 默认使用local方式对数据进行分块并...
交换分区
当 ALTER TABLE…EXCHANGE PARTITION 命令执行完成时，原来位于 target_partition 中的数据将交换至 source_table 中，原来位于 source_table 中的数据将交换至 target_partition 中。ALTER TABLE…EXCHANGE PARTITION 命令可以交换LIST、...
功能特性
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库，一键接入支持：RDS、PolarDB、PolarDB-X（原DRDS）、Redis、OSS、TableStore、...
入仓解决方案
数仓开发的项目空间由入仓解决方案和业务场景两部分组成。入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近...说明 对于某些数据同步不支持的数据库（例如MongoDB实例），您可以通过增量数据迁移的方式来实现数据同步。
基于Delta lake的一站式数据湖构建与分析实战
数据湖能够将这些不同来源、不同格式的数据集中存储管理在高性价比的存储如 OSS等对象存储中，并对外提供统一的数据目录，支持多种计算分析方式，有效解决了企业中面临的数据孤岛问题，同时大大降低了企业存储和使用数据的成本。...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
基础折线图
图表样式 基础折线图是移动端组件中折线图的一种，与双轴折线图相比，基础折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。...
什么是数据资源平台
提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据...
基础折线图
图表样式 基础折线图是移动端组件中折线图的一种，与双轴折线图相比，基础折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
数据导入方式介绍
本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入方式。通过外表导入数据 AnalyticDB MySQL 内置不同数据源的访问链路，支持通过创建外表来映射外部数据源，并发地读取外部数据并导入到 AnalyticDB MySQL。通过外表导入数据...
接入其他自建或其他云厂商数据库实例
本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库，包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎：MySQL MongoDB PostgreSQL Redis 说明 ...
折线图
图表样式 折线图，一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索...
数据安全治理的必要性
数据安全治理采用体系化的方式保障数据安全，要求妥善处理各类人员对组织资产的行为，以避免发生数据安全事件。数据安全治理的目标是协助企业树立数据安全相关的法律意识，确保企业经营合法合规，同时展现企业的社会责任，保护企业的核心...
配置安全规则
已关联数据库 已关联数据库 选择需要启用该规则的数据库。其他 规则描述 规则描述信息，最多支持1,000个字符。规则类型为 操作规则 时，需配置以下信息：类别 配置项 说明 访问来源 来源IP 访问数据库来源IP地址，如：192.168.XX.1~192.168...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
Bucket Shuffle Join
Bucket Shuffle Join会根据A表的数据分布信息，将B表的数据发送到对应的A表的数据存储计算节点。Bucket Shuffle Join开销如下：网络开销：B表数据量。小于常规Join方式的网络开销，其中Broadcast Join为 3倍的B表数据量，Shuffle Join为 A...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
什么是数据库备份DBS
相关概念 了解以下概念，将帮助您更好地使用DBS：常用的数据备份方式为逻辑备份、物理备份与快照：逻辑备份：数据库对象级备份，备份内容是表、索引、存储过程等数据库对象，常见工具为MySQL mysqldump、Oracle exp/imp等。物理备份：数据...
数据脱敏
脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏后的数据保存到您选择的目标位置。动态脱敏：相对于静态脱敏，动态脱敏更加灵活，可以直接脱敏指定数据。每次脱敏的数据必须小于2 MB。前提...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
数据查询
使用预降采样查询提升查询性能 大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据...
功能发布记录（2024年）
DataWorks企业版用户 开发部署扩展程序：函数计算方式 数据建模支持自定义模型的发布策略 数据建模支持自定义模型的发布策略。策略启用后，发布模型时可根据策略配置选择相应的发布模式。2024.3.12 所有地域 购买智能数据建模产品的...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
产品概述
实时性 通过数据总线DataHub，您可以实时的收集各种方式生成的数据并进行实时的处理，对您的业务产生快速的响应。易用性 数据总线DataHub 提供丰富的SDK包，包括C++,JAVA,Pyhon,Go等语言。数据总线 DataHub服务也提供Restful API规范，您...
创建MaxCompute数据源
说明 通过该方式创建的数据源，会默认将工作空间内存量和新增用户均加入至MaxCompute开发项目。同时，用户所拥有的角色会映射相应预设MaxCompute角色。详情请参见 附录：空间级预设角色与MaxCompute引擎权限的映射关系。创建数据源配置如下...
- 产品推荐
- 这些文档可能帮助您