创建EMR Impala节点
前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至...
概述
业务数据互联互通，打破信息壁垒 公司内部各业务、各部门之间数据独立自主形成了数据孤岛，导致决策层无法清晰、快速地了解公司各类数据情况。如何打破部门或业务领域之间的信息孤岛是企业数据管理的一大难题。数据标准整合，统一灵活对接 ...
集群数据盘使用率告警
处理方法 打开 租户管理 页面，查看租户的 已使用磁盘，如果所有租户累计使用磁盘空间很大，表示业务数据量确实很大，需要对集群做扩容处理。登录业务租户，查询是否开启了回收站：show variables like 'recyclebin'，ON 表示开启，OFF ...
数据质量评估标准
例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致。因此，您需要设计数仓的公共层以确保数据的一致...
一键MaxCompute表结构同步节点
您也可以找到相应的业务流程，右键单击业务流程，选择 新建节点>Hologres>一键MaxCompute表结构同步。在 新建节点 对话框中，输入 名称，并选择 引擎实例、节点类型 及 路径。单击 确认，进入节点编辑页面。配置一键MaxCompute表结构同步...
准备数据
进入业务流程开发面板，并向面板中拖入一个虚拟节点（start）和三个离线同步节点（电量下降趋势数据同步、窃电标志数据同步和指标数据同步）分别填写相应的配置后，单击 提交。拖拽连线将start节点设置为三个离线同步节点的上游节点。配置...
零售电商数据建模
案例使用流程 零售电子商务公司背景简介 零售电子商务公司是全品类综合性电商平台，随着业务的发展，每天新增的用户访问行为日志、订单交易等数据越来越庞大，对这部分数据进行分析挖掘可以更好地了解用户行为、商品销售情况等，从而更好地...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
亿海蓝-航运大数据的可视化案例
不同于轨迹数据，航线数据业务性更强，需要更丰富的存储和查询方式。DLA Ganos 满足了整合分析多种时空数据的需求。航海业务相对复杂，需要对数据做一些自定义的运算。DLA Ganos内置Spark集群，提供定制处理数据的计算引擎，节省了单独购买...
加工数据
在 数据开发 页面打开WorkShop业务流程，右键单击 EMR，选择 新建资源>EMR JAR，配置新建资源参数。关键参数配置如下：存储路径：选择准备环境中 创建的Bucket。上传文件：选择已下载ip2region-emr.jar文件。其他参数保持默认或根据实际...
汇联易实战：RDS通用云盘助力突破性能瓶颈
本案例将介绍上海甄汇信息科技有限公司在面临多个业务挑战时，通过选择阿里云瑶池数据库RDS MySQL，并升级存储介质为通用云盘，同时启用IO突发功能，成功应对并解决了业务高峰期数据库查询速度慢的性能瓶颈问题，使SaaS服务能够在关键时刻...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
一键MaxCompute数据同步节点
您也可以找到相应的业务流程，右键单击业务流程，选择 新建节点>Hologres>一键MaxCompute数据同步。在 新建节点 对话框中，输入 名称，并选择 引擎实例、节点类型 及 路径。单击 确认，进入节点编辑页面。配置节点信息。在节点编辑页面，...
大量数据导出方案
右键单击业务流程，选择 新建节点>数据集成>离线同步。填写 节点名称 为 sync2mysql，单击 确认。选择数据来源以及去向。配置字段映射。配置通道控制。单击 保存。将数据同步节点和ODPS SQL节点连线配置成依赖关系，ODPS SQL节点作为数据的...
虚拟节点
虚拟节点属于控制类节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下游节点运行），通常作为业务流程的统筹起始节点，或业务流程中多个分支节点的汇总输出节点使用。...
创建EMR函数
新建业务流程，详情请参见 创建周期业务流程。在本地Java环境编辑程序并生成JAR包后，再新建JAR资源，并提交发布。详情请参见 创建和使用EMR资源。新建函数。打开相应的业务流程，右键单击 EMR，选择 新建函数。在 新建函数 对话框中，输入...
天任务依赖分钟任务最佳实践
进入业务流程开发面板，鼠标单击 离线同步，配置新建节点的信息。单击 确认。以同样的方式再新建一个ODPS SQL节点。通过拖拽连线，设置离线同步节点为ODPS SQL节点的上游。数据同步节点用来同步每5分钟调度一次的MySQL数据至MaxCompute。...
IO加速
当业务出现大规模数据读写或频繁数据读写请求时，磁盘IO操作可能成为数据库系统的瓶颈。因此，阿里云数据库RDS PostgreSQL推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据进行...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
跨业务流程配置调度依赖 下游业务流程中的节点依赖上游业务流程中某节点的节点输出即可实现跨业务流程依赖，下面以多分支结果的业务流程实现跨业务流程依赖为例说明如何设置跨业务流程节点依赖关系。包含多个分支结果的业务流程如果要实现...
使用ETL分析实时订单
步骤 说明 准备工作 将实时交易数据、业务维度数据存储在源表中，并根据业务需求创建目标表。说明 本案例中实时交易、业务维度表、目标表均存储在RDS MySQL中。步骤一：配置源库信息 将实时交易数据配置为流表，业务维度数据配置为维表。...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
通过操作审计查询行为事件日志
DeleteBusiness 删除业务流程 ExecuteFile 将文件作为临时任务执行 LockFile 偷锁编辑 DICreateDatasource 数据集成新增数据源 数据集成 DIBatchCreateDatasource 数据集成批量新增数据源 DIUpdateDatasource 数据集成修改数据源 ...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
查看并管理手动实例
编辑节点 单击后，即可跳转至 数据开发 页面，对当前业务流程的内容进行修改。查看血缘 查看当前实例的血缘关系。终止运行 终止任务的运行，仅对当前实例有效。重跑 可以重跑指定任务，常用于处理出错节点和漏跑节点。说明 仅支持重跑成功...
ListBusiness
调用ListBusiness查询业务流程的列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
管控模式
数据管理DMS 提供三种实例级别的管控模式，针对不同的业务场景，您可以为实例设置不同的管控模式。管控模式介绍 管控模式 模式说明 应用场景 登录方式 自由操作 支持27种数据库的可视化数据管理和结构管理。支持在SQLConsole进行各类数据与...
CreateDISyncTask
Message String 不合法的目录路径：业务流程/xxxx/数据集成 创建数据集成同步任务失败的原因描述，如果成功，该字段为空，如果不成功，实例如下"不合法的目录路径：业务流程/xxxx/数据集成"，FileId Long 1000001 成功创建的数据集成同步...
使用DataWorks
展开业务流程，右键单击 数据集成。单击 新建节点>离线同步。在 新建节点 对话框中，输入 节点名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线（_）以及小数点（.），且不能超过128个字符。单击 确认。通过向导模式...
创建EMR Hive节点
前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
PostgreSQL节点
前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建PostgreSQL数据源。您需先将您的PostgreSQL数据库创建为DataWorks的...
基于MaxCompute实现拉链表
在左侧目录树中，双击步骤2中创建的业务流程名称，进入业务流程面板，并通过拖拽组件以及拉线的方式在业务流程画布中编排整个流程。本案例中会使用到两个类型节点：虚拟节点 和 开发ODPS SQL任务。虚拟节点将作为整个拉链表实现的起始节点...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
数据仓库研发规范概述
数据仓库研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，赋能企业、政府更强大的数据掌控力来应对海量增长的业务数据，从而释放更多人力与财力专注...
数据开发概述
您可通过目录树创建所需对象，或使用业务流程可视化面板拖拽组件，快速构建数据加工流，并支持通过解决方案对业务流程进行进一步的管理。对象管理：支持使用可视化方式创建及管理节点、表、资源及函数。更多详情请参见 创建业务流程、任务...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
保险行业解决方案与案例
需求背景 某保险公司（中国前三）核心及业务系统迁移是当前保险业机构最大规模的数据库国产化改造项目。该公司依托云计算技术和互联网技术构建了分层清晰的数字化平台，推动技术架构和技术标准的统一，实现系统间整合和内通外联，同时，...
创建CDH MR节点
前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云CDH集群，并注册CDH集群至...
使用DataWorks同步数据
展开业务流程，右键单击 数据集成。单击 新建节点>离线同步。在 新建节点 对话框中，输入 名称，并选择 路径。重要 节点名称必须由大小写字母、中文、数字、下划线（_）以及小数点（.）组成，且不能超过128个字符。单击 确认。配置数据来源...
- 产品推荐
- 这些文档可能帮助您