应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
支持的数据源
数据入仓 类别 数据源 导入方式 产品系列 文档链接 数据库 RDS MySQL 外表 数仓版（3.0）通过外表导入至数仓版 湖仓版（3.0）通过外表导入至湖仓版 DTS 数仓版（3.0）通过DTS导入数据 湖仓版（3.0）通过DTS导入数据 DataWorks 数仓版（3.0...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
数据资产等级定义
本文为您介绍数据资产等级的定义，以及如何定义生产链路上的相关数据的资产等级。数据资产等级定义 根据数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度划分数据的资产等级。通常，划分为5个性质的等级：毁灭性质：数据...
业务视角管理：数据专辑
数据专辑功能帮助您按照业务视角，进行数据表的分类、分级组织和管理。您可以将指定表等加入目标专辑中进行收纳，实现快速、便捷地检索和定位。本文为您介绍如何创建并使用数据专辑，及数据专辑的管理等操作。使用限制 仅支持DataWorks专业...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
访问数据可视化功能
本文介绍进入数据可视化功能的3种方法。方式一：通过顶部菜单栏进入数据可视化 登录 数据管理DMS 5.0。进入数据可视化功能。旧版数据可视化功能：在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据可视化（老）。新版数据可视化功能：...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
集成与开发概览
DMS的数据集成与开发功能模块，针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍添加适配数据源的方法。如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 当前数据集功能仅支持以下三种数据源类型：RDS for MySQL 兼容MySQL数据库 RDS for ...
常见问题
3.大数据专家服务的服务方式提供哪些方式可选？答：大数据专家服务方式可以选择【现场】+【远程】技术支持方式提供服务，一般在服务需求沟通阶段与用户就服务方式达成共识，若因疫情等不可抗原因仅提供远程技术支持的方式提供服务。4.大...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
导入概述
本文为您介绍Doris数据导入支持的数据源、支持的数据格式以及特性。支持的数据源 Doris提供多种数据导入方案，可以针对不同的数据源选择不同的数据导入方式。Stream Load Broker Load Insert Into Routine Load Spark Load JSON格式导入 ...
概述
同一份数据以不同的格式保存，数据所占用的存储空间不同，使用DLA扫描数据时所花费的时间和费用也不同。通常情况下，同一份数据以ORC格式和PARQUET格式存储时，其数据扫描性能要优于普通文本CSV格式。因此，您可以将文本类型的数据转换为...
使用限制
自建数据库迁移至云数据库MongoDB 将ECS上分片集群架构的自建MongoDB迁移上云 使用DTS迁移分片集群架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至分片集群实例 第三方云数据库迁移至云数据库MongoDB 使用NimoShake将...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的...
三个实例相互进行双向同步后出现数据缺失
通过数据传输服务（DTS）进行三个实例间的相互双向同步后，出现数据缺失。本文介绍如何避免这种情况的发生。问题描述 通过DTS配置三个实例之间的双向同步后，发现数据出现缺失。例如下图所示的配置场景：可能原因 双向同步场景的关键在于...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
配置数据质量监控
3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行，本案例中，当 dws_user_info_all_di 节点对用户信息及当日网站...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试 或Session集群调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。调试方式说明 本地调试方式：即不通过集群进行调试，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
配置资产数据
本文档介绍配置资产数据的方法，以及资产数据面板的内容，包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，单击 图层...
数据可视化展现
本文为您介绍如何通过DataWorks数据分析实现用户画像数据可视化展示。前提条件 在开始试验前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户画像数据进行...
管理数据源权限
您可以在数据源管理页面，分享数据源权限给相应的工作空间，并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。背景信息 通常数据源会承载数据的具体地址、账户和密码等敏感信息，但普通开发人员仅...
查看计量详情
API计量详情提供了各类可视化图表及统计数据，可以针对单个API分别查看监控图表，包括API网关状态码、数据服务错误码、App请求次数、流量带宽、平均响应时间。进入计量详情页面 登录 DataWorks控制台，单击左侧导航栏的 数据服务，在下拉框...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
源库连接性检查
在预检查阶段，系统会检查DTS服务器是否能够连通源端数据库。本文将介绍源库连接性检查失败的可能原因及修复方法。当源库连接性预检查失败时，可能是以下几种原因。数据库账号名或密码不正确 报错示例 Access denied for user 'XXX'@'XXX'...
数据源权限管理
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的...
常见问题
本文汇总了云数据库RDS MySQL的常见恢复...方法三：先 下载备份，再将备份文件恢复至自建数据库，具体请参见 RDS MySQL物理备份文件恢复到自建数据库、RDS MySQL逻辑备份文件恢复到自建数据库 或 RDS MySQL CSV或SQL文件恢复到自建数据库。
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
数据处理
return true为满足该处理方法的条件，return false为不满足该处理方法的条件，可以添加多个数据过滤器。锚点配置面板 事件/动作参数说明 事件/动作 说明 完成 处理方法全部执行完后的结果，传递给下游节点。执行 输入上游节点的输出结果，...
- 产品推荐
- 这些文档可能帮助您