Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
创建数据流
单击 数据输出 节点，在页面下方的 数据输出 页签中配置数据输出节点。数据库：配置项 描述 数据库类型 选择输出数据的目标数据库类型。数据库 搜索并选择输出数据的目标数据库。说明 如果数据库未登录，在 登录实例 对话框中，输入 数据库...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
配置SAP Table输入组件
同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建SAP Table数据源，如何创建，请参见 创建Sap Table...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
配置SAP Table输入组件
同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建SAP Table数据源，如何创建，请参见 创建SAP Table...
大数据安全治理的难点
数据业务属性及重要程度如何？是否做了相应的分级分类？说明 此处的资产不单单局限于结构化、非结构化数据资产，还包括硬件资产、IAAS/PAAS/SAAS、甚至人员资产，因为任意一个资产被攻破，都会导致企业关键信息被侵害。这些资产存在哪些...
使用执行计划分析查询
Stage层执行计划树中主要包含如下信息：基本信息 图中的每个矩形框代表一个Stage，框里会包含Stage ID、数据输出类型、耗时或内存（选择 按内存 排序时展示）等信息。说明 当Stage层执行计划树上出现红色警示号，表示该Stage被诊断出存在可...
产品优势
支持防护常见的结构化数据、非结构化数据和大数据产品，例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
配置PostgreSQL输出组件
选择数据输出前和输出完成的一些特殊处理方式。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
配置Microsoft SQL Server输出组件
选择数据输出前和输出完成的一些特殊处理方式。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
配置Microsoft SQL Server输出组件
选择数据输出前和输出完成的一些特殊处理方式。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
新建Elastic Job类型的公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构...
配置PostgreSQL输出组件
选择数据输出前和输出完成的一些特殊处理方式。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
配置AnalyticDB for PostgreSQL输出组件
AnalyticDB for PostgreSQL输出组件用于向AnalyticDB for PostgreSQL数据源写入数据。同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。...
输入和输出数据的格式
云数据库ClickHouse输入和输出数据格式的详细信息，请参见 输入和输出数据的格式。
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
配置AnalyticDB for PostgreSQL输出组件
AnalyticDB for PostgreSQL输出组件用于向AnalyticDB for PostgreSQL数据源写入数据。同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 GreenPlum 支持 支持 TDengine 不...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
配置Vertica输出组件
解析方案 非必填项，选择数据输出前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
配置Vertica输出组件
解析方案 非必填项，选择数据输出前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示...
- 产品推荐
- 这些文档可能帮助您