DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
什么是OceanBase
OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库，始创于2010年。OceanBase具有数据强一致、高...高可用：数据采用多副本存储，少数副本故障不影响数据可用性。通过“三地五中心”部署实现城市级故障自动无损容灾。产品介绍
标准版-单副本
警告 单副本架构不能保障数据可用性和服务连续性，选用前请务必确认风险，不建议您在生产环境中使用该架构的实例。云数据库Redis版服务等级协议不适用于单副本架构的实例。由于该架构只有一个数据库节点，无热备节点用于HA，且不提供数据...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据使用诊断
敏感数据脱敏 说明 在数据使用过程中为避免数据滥用、泄露，实现“数据可用不可见”的目的，DataWorks支持管理员配置脱敏规则，帮助企业在“安全”与“便利”之间获得平衡。数据保护伞服务 此安全检测项为您检测哪些工作空间已开启脱敏规则...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
Tair选型指南
3 选择容灾方案 云原生内存数据库Tair 实例若因不可预料的原因（例如设备故障、机房断电等）发生故障，容灾机制保障数据的一致性和业务可用性。云原生内存数据库Tair 提供多种灾备方案供您选择，可满足不同的业务场景。4 预估内存规格 提前...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
云数据库Redis版产品选型必读
不同于自建Redis数据库，选用云数据库Redis时，您无需再额外考虑云数据库Redis持久化Fork写时复制占用的内存开销以及云数据库Redis增强功能（如安全白名单、审计、大Key、热Key等）的内存开销，这些开销由阿里云承担，不计入购买的实例内存...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
OSS/OSS-HDFS概述
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。更多信息，请参见 什么...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
存储类型概述
适用于需要超长时间存放的冷数据，例如因合规要求需要长期留存的数据、大数据及人工智能领域长期积累的原始数据、影视行业长期留存的媒体资源、在线教育行业的归档视频等业务场景。说明 华东1（杭州）、华东2（上海）、华北1（青岛）、华北...
ListDoctorHiveTables-批量获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
产品架构
系统架构 DTS系统架构特性说明 系统高可用 数据传输服务内部每个模块都有主备架构，保证系统高可用。容灾系统实时检测每个节点的健康状况，一旦发现某个节点异常，会将链路快速切换到其他节点。数据源地址动态适配 对于数据订阅及同步链路...
组复制简介
特性 组复制 半同步复制 异步复制 数据可靠性★数据一致性 保证主备数据一致性 不保证 不保证 全局事务一致性 支持 不支持 不支持 数据 强 可靠性 组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...
MongoDB 4.0
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。对于迁移失败的任务，DTS会触发自动恢复。当您需要将业务切换至目标实例时，请务必...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 7.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 6.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
- 产品推荐
- 这些文档可能帮助您