数据服务概述
同时，支持数据服务的运维监控和告警，便于开发运维人员根据异常数据或告警通知，及时发现并修正问题。数据服务产品价值能力，概括为以下两点：数据服务创建能力：支持将单个物理表或多个物理表进行关联形成一张逻辑表，后续开发可以基于该...
典型场景
一键建仓：支持数据库一键入湖，T+1天。文件上传：数据上传后，DLA元数据发现功能可自动发现并构建好元数据体系。数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持...
常见问题
如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的...
OSS/OSS-HDFS概述
不支持 支持 扩展属性XAttrs 不支持 支持 ACL 不支持 支持 本地读缓存加速 支持 支持 快照Snapshot 不支持 支持 文件append、flush和sync操作 不支持 支持 文件truncate 不支持 支持 校验和Checksum 支持 支持 HDFS回收站自动清理 不支持 ...
【通知】敏感数据保护功能商业化
支持：仅支持数据脱敏。支持：数据脱敏。查看脱敏算法应用的字段列表。批量调整关联的脱敏算法。细粒度权限管控 不支持 不支持 支持：无限制 支持：付费功能，包含在敏感数据管理中。说明 关于敏感数据保护功能的更多信息，请参见 敏感数据...
MaxCompute数据源
MaxCompute Reader不支持数据过滤功能。如果您在数据同步过程中，需要过滤符合条件的数据，请创建新表并写入过滤数据后，同步新表中的数据。离线写 当数据有null值时，MaxCompute Writer不支持VARCHAR类型。实时写 实时数据同步任务仅支持...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
IoT数据自动化同步至云端解决方案
大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决...
数据查询
数据查询（兼容HBase）数据查询（兼容HBase）界面支持查询指定表的详细信息，也支持为已有的表新增相关属性。查询已有数据 支持查询 SQL表 和 HBase表 中已有的数据。在集群管理系统的左侧导航栏中，选择 数据查询>数据查询（兼容HBase）。...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
数据集成支持的数据源
支持 OceanBase 支持 支持 Oracle 支持 支持 Vertica 支持 支持 IBM DB2 支持 支持 Teradata 支持 支持 ClickHouse 支持 支持 DM（达梦）支持 支持 GBase 8a 支持 支持 KingbaseES 支持 支持 TiDB 支持 支持 GoldenDB 支持 支持 OpenGauss ...
数据源管理概述
② 功能区 管理标签：Dataphin支持数据源的标签管理，以支持您可以通过业务场景划分数据源进行管理。如需创建，请参见 管理数据源标签。新建数据源：若您需要新建数据源。具体操作，请参见 Dataphin支持的数据源。刷新：单击 可以刷新当前...
数据源管理概述
② 功能区 管理标签：Dataphin支持数据源的标签管理，以支持您可以通过业务场景划分数据源进行管理。如需创建，请参见 数据源管理标签。新建数据源：若您需要新建数据源。具体操作，请参见 Dataphin支持的数据源。刷新：单击 可以刷新当前...
产品功能
阿里云图数据库自动机器学习（Graph Database Auto Machine Learning，简称GDB Automl）支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
整体架构
技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版（3.0）主要用来处理高性能在线分析场景的数据。随着数据...
计算设置概述
亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB Transwarp ArgoDB是星环科技的分布式分析性数据库。说明 星环ArgoDB不支持智能研发版。设置Dataphin实例的计算引擎为TDH或ArgoDB 星环...
备份集下载功能概览
数据库备份DBS 为云数据库、ECS自建数据库提供灵活的备份与恢复功能，同时也支持将云上备份集下载到本地，进一步增强数据的安全性。您可通过手动或自动模式进行数据下载，下载的备份集可用于恢复到本地数据库、Excel分析与审计、备份到本地...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
管理数据源权限
因此数据集成提供更加严格的权限管控功能，仅支持数据源的创建者对数据源进行权限管理，指定某个工作空间或者某个人对数据源的权限。数据源权限管理相关的常见问题请参见 数据源权限管理。使用限制 数据源权限管理功能仅支持跨工作空间数据...
功能特性
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
概述
手动备份仅支持数据备份，日志备份持续进行，无需手动触发。说明 自动备份的频率最低为每周一次。前一次的手动备份完成后才能进行下一次的手动备份。备份存放位置 数据备份：存放于阿里云提供的备份空间，不占用实例的存储空间，默认保留30...
简介
注意事项 目前该功能处于邀测阶段，如有使用需求，请联系DMS技术支持（钉钉号：44962304）申请试用。功能说明 面向用户群体 使用前 DMS方案 用户收益 数据开发/分析人员 需要花费大量时间来应对业务方频繁地取数需求。提供Data Copilot、...
服务账号授权
背景信息 当您需要阿里云技术支持人员协助解决问题时，可通过服务账号授权功能，将配置、查询索引、数据等权限授予阿里云的技术支持人员。支持人员将在允许的时间和权限内对您的集群进行操作，为您提供技术支持服务。前提条件 当集群实例...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试 或Session集群调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。调试方式说明 本地调试方式：即不通过集群进行调试，...
数据集成支持的数据源
支持 OceanBase 支持 支持 Oracle 支持 支持 Vertica 支持 支持 IBM DB2 支持 支持 Teradata 支持 支持 ClickHouse 支持 支持 DM（达梦）支持 支持 GBase 8a 支持 支持 KingbaseES 支持 支持 TiDB 支持 支持 GoldenDB 支持 支持 OpenGauss ...
概述
import mars.tensor as mt a=mt.random.rand(10000,50)b=mt.random.rand(50,5000)a.dot(b).execute()Mars DataFrame接口 和Pandas保持一致，且支持大规模数据处理和分析。示例代码如下。import mars.dataframe as md ratings=md.read_csv('...
升级
数据标准 数据标准目标是为业务、技术和管理提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准包括数据标准、标准集、落标映射规则、标准代码（码表）、词根等功能。升级规则如下：敏捷...
数据源支持概述
本文介绍Spark SQL支持的数据源类型，以及支持数据源的方式。支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 DataHub 无 无 有 有 HBase 有 有 无 有 JDBC 有 有 无 有 ...
EMR-3.22.x版本说明
包括多Namespace支持、本地数据块以大文件形式存储、多模存储支持和外部客户端支持等多项重大更新。解决机器重启过程中Bigboot monitor状态不正确问题。增加Kudu组件的服务spec。增加各个服务spec的正确性检验。Hadoop HDFS HDFS ...
什么是云数据库Redis版
持久内存型：基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。磁盘型：基于ESSD与SSD研发，兼容Redis核心...
数据保护伞概述
在EMR集群下使用数据保护伞需升级独享调度资源组，您可加入 DataWorks钉钉群 联系技术支持同学申请升级。数据保护伞默认使用阿里云主账号进行数据抽样，如果您的集群开启了LDAP认证，使用Ranger或DLF-Auth管理表权限，需您为主账号配置账号...
产品优势
提高开源组织版本管理效率，快速支持业务创新 更多开源软件支持 更高软件版本支持 覆盖从边缘到AI全场景 企业级的服务支持，降低运维成本，缩短故障处理时间 来自阿里云和Cloudera的7*24小时大数据专家服务支持 快速定位使用中遇到的问题，...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
数据源管理
连接类型：支持数据库与Kafka两种类型。数据库引擎：当 连接类型 为数据库时，支持MySQL引擎。当 连接类型 为Kafka时，支持阿里云消息队列Kafka，EMR Kafka，自建Kafka。实例类型：当 连接类型 为数据库时，支持RDS实例，PolarDB实例。访问...
- 产品推荐
- 这些文档可能帮助您