RDS搭配大数据计算服务实现大规模数据计算
开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
将Prometheus数据投递至大数据计算服务MaxCompute
当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务，加工后用于报表分析...
将Prometheus数据投递至大数据计算服务MaxCompute
当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务，加工后用于报表分析...
IoT数据自动化同步至云端解决方案
大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
离线同步并发和限流之间的关系
脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏数据是指数据条目在写入目标数据源过程中发生了异常，则此条数据被视为脏数据。由于各类异构系统对数据处理的复杂和差异性，目前策略是写入失败的数据均被归类于脏数据。在一些数据...
大数据安全治理的难点
这些链路都是数据机密性受损的直接渠道，数据流转安全策略定义不清楚或未定义、底层链路未禁用、API安全防护缺失、人员行为未做风控 都会导致数据安全事件发生。例如，非法出境（出域）、脱库、泄露等。交付 大数据系统负责每日产出用于...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
概述
创建数据迁移项目时，您可以指定的最大迁移范围是数据库级别，最小迁移范围是表级别。详情请参见 数据迁移 模块的内容。说明 目前数据迁移项目仅支持后付费模式，即按量付费计费模式。当前为限时免费阶段，具体收费时间另行通知。详情请...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
产品优势
支持防护常见的结构化数据、非结构化数据和大数据产品，例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
透明数据加密概述
加密解密流程 所有加密解密操作均在内存中进行，内存中的数据是明文，磁盘中的数据是密文，这可以避免因磁盘被盗而产生的数据泄露问题，同时数据库的使用方式保持不变，没有适配成本。数据库启动时会从KMS获取KEK，从而解密DEK，解密后的...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
数据源中心
HIVE/IMPALA数据源 参数 是否必选参数 说明 数据源 是 数据源类型。数据源名称 是 输入数据源的名称。描述 否 输入数据源的描述。IP主机名 是 输入连接HIVE/IMPALA的IP地址。端口 是 HIVE/IMPALA 数据源类型对应的端口为10000。用户名 是 ...
概述
设计理念 数据分析的核心概念设计分别是数据集、可视化组件（仪表盘和大屏）。数据集是数据的结构化形态，一切逻辑、权限、服务等都是从数据集展开。仪表盘是数据分析和数据展示的画布，在仪表盘中可以做实时的数据分析，也可以将数据制作...
概述
数据恢复：由于数据是恢复到新实例上，因此需要收取新实例的费用。全局一致性 PolarDB-X 是一款分布式数据库，数据存放在多个数据节点（DN）上，当分布式事务存在的情况下，恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
什么是数据管理DMS
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
管理数据集
单击 新建数据集，配置如下信息：配置项 是否必填 说明 名称 是 数据集名称，且在同一个用户下唯一。描述 否 用于描述数据集的属性。数据库 是 执行数据查询的目标数据库。您需要有该数据库的查询权限。变量 否 变量用于在仪表盘展示时，...
管理数据目录
数据目录是数据湖构建（Data Lake Formation）的元数据最上层实体，可以包含若干个数据库。在EMR Serverless Spark中，您可以通过该功能来查看绑定的数据目录中的数据库和表，还可以添加已有的数据目录。该功能适用于需要实现元数据隔离的...
- 产品推荐
- 这些文档可能帮助您