大数据业务流程-大数据业务流程文档介绍内容-阿里云

一键MaxCompute表结构同步节点

您也可以找到相应的业务流程，右键单击业务流程，选择新建节点>Hologres>一键MaxCompute表结构同步。在新建节点对话框中，输入名称，并选择引擎实例、节点类型及路径。单击确认，进入节点编辑页面。配置一键MaxCompute表结构同步...

集群数据盘使用率告警

处理方法打开租户管理页面，查看租户的已使用磁盘，如果所有租户累计使用磁盘空间很大，表示业务数据量确实很大，需要对集群做扩容处理。登录业务租户，查询是否开启了回收站：show variables like 'recyclebin'，ON 表示开启，OFF ...

IO加速

当业务出现大规模数据读写或频繁数据读写请求时，磁盘IO操作可能成为数据库系统的瓶颈。因此，阿里云数据库RDS PostgreSQL推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据进行...

创建EMR Impala节点

前提条件数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见创建业务流程。已创建阿里云EMR集群，并注册EMR集群至...

加工数据

在数据开发页面打开WorkShop业务流程，右键单击 EMR，选择新建资源>EMR JAR，配置新建资源参数。关键参数配置如下：存储路径：选择准备环境中创建的Bucket。上传文件：选择已下载ip2region-emr.jar文件。其他参数保持默认或根据实际...

一键MaxCompute数据同步节点

您也可以找到相应的业务流程，右键单击业务流程，选择新建节点>Hologres>一键MaxCompute数据同步。在新建节点对话框中，输入名称，并选择引擎实例、节点类型及路径。单击确认，进入节点编辑页面。配置节点信息。在节点编辑页面，...

大量数据导出方案

右键单击业务流程，选择新建节点>数据集成>离线同步。填写节点名称为 sync2mysql，单击确认。选择数据来源以及去向。配置字段映射。配置通道控制。单击保存。将数据同步节点和ODPS SQL节点连线配置成依赖关系，ODPS SQL节点作为数据的...

准备数据

进入业务流程开发面板，并向面板中拖入一个虚拟节点（start）和三个离线同步节点（电量下降趋势数据同步、窃电标志数据同步和指标数据同步）分别填写相应的配置后，单击提交。拖拽连线将start节点设置为三个离线同步节点的上游节点。配置...

RDS迁移至MaxCompute实现动态分区

进入数据开发页面，右键单击指定业务流程，选择新建节点>数据集成>离线同步。在新建节点对话框中，输入节点名称，并单击确认。选择数据来源和数据去向。配置分区参数。在右侧导航栏上，单击调度配置。在调度参数区域，设置参数。...

创建EMR函数

新建业务流程，详情请参见创建周期业务流程。在本地Java环境编辑程序并生成JAR包后，再新建JAR资源，并提交发布。详情请参见创建和使用EMR资源。新建函数。打开相应的业务流程，右键单击 EMR，选择新建函数。在新建函数对话框中，输入...

天任务依赖分钟任务最佳实践

进入业务流程开发面板，鼠标单击离线同步，配置新建节点的信息。单击确认。以同样的方式再新建一个ODPS SQL节点。通过拖拽连线，设置离线同步节点为ODPS SQL节点的上游。数据同步节点用来同步每5分钟调度一次的MySQL数据至MaxCompute。...

通过操作审计查询行为事件日志

DeleteBusiness 删除业务流程 ExecuteFile 将文件作为临时任务执行 LockFile 偷锁编辑 DICreateDatasource 数据集成新增数据源数据集成 DIBatchCreateDatasource 数据集成批量新增数据源 DIUpdateDatasource 数据集成修改数据源 ...

自媒体：易撰

PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...

CreateDISyncTask

Message String 不合法的目录路径：业务流程/xxxx/数据集成创建数据集成同步任务失败的原因描述，如果成功，该字段为空，如果不成功，实例如下"不合法的目录路径：业务流程/xxxx/数据集成"，FileId Long 1000001 成功创建的数据集成同步...

使用ETL分析实时订单

步骤说明准备工作将实时交易数据、业务维度数据存储在源表中，并根据业务需求创建目标表。说明本案例中实时交易、业务维度表、目标表均存储在RDS MySQL中。步骤一：配置源库信息将实时交易数据配置为流表，业务维度数据配置为维表。...

Napatech案例

随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大...

虚拟节点

虚拟节点属于控制类节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下游节点运行），通常作为业务流程的统筹起始节点，或业务流程中多个分支节点的汇总输出节点使用。...

查看并管理手动实例

编辑节点单击后，即可跳转至数据开发页面，对当前业务流程的内容进行修改。查看血缘查看当前实例的血缘关系。终止运行终止任务的运行，仅对当前实例有效。重跑可以重跑指定任务，常用于处理出错节点和漏跑节点。说明仅支持重跑成功...

互联网、电商行业离线大数据分析

概述电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景电商...

对接使用CDH与CDP

创建业务流程，根据界面提示填写业务流程信息。单击创建好的业务流程，在 CDH 引擎文件夹上右键选择新建节点>CDH Hive。在右侧代码编辑框中编写Hive SQL，完成代码编辑后单击顶部运行图标，选择调度资源组并确认，运行完毕后可以查看Hive...

快速体验

了解如何规划DataWorks工作空间、MaxCompute项目、业务流程、表管理。了解DataWorks核心功能模块能力及基础应用。了解数仓分层的消费和体现。说明本次实验数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工...

创建EMR Hive节点

前提条件数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见创建业务流程。已创建阿里云EMR集群，并注册EMR集群至...

使用DataWorks

展开业务流程，右键单击数据集成。单击新建节点>离线同步。在新建节点对话框中，输入节点名称，并选择路径。重要节点名称必须是大小写字母、中文、数字、下划线（_）以及小数点（.），且不能超过128个字符。单击确认。通过向导模式...

PostgreSQL节点

前提条件已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见创建业务流程。已创建PostgreSQL数据源。您需先将您的PostgreSQL数据库创建为DataWorks的...

核心能力

数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...

数据开发功能索引

本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发登录 DataWorks控制台，单击左侧导航栏的数据建模...

入门概览

认识阿里云RPA 阿里云RPA由三部分构成：阿里云RPA编辑器、阿里云RPA机器人与阿里云RPA控制台，其中：编辑器主要用于开发您希望能自动化执行的业务流程（即RPA应用）。我们支持可视化与编码两种开发模式，可以灵活赋能各类技术背景的开发...

基于MaxCompute实现拉链表

在左侧目录树中，双击步骤2中创建的业务流程名称，进入业务流程面板，并通过拖拽组件以及拉线的方式在业务流程画布中编排整个流程。本案例中会使用到两个类型节点：虚拟节点和开发ODPS SQL任务。虚拟节点将作为整个拉链表实现的起始节点...

使用DataWorks同步数据

展开业务流程，右键单击数据集成。单击新建节点>离线同步。在新建节点对话框中，输入名称，并选择路径。重要节点名称必须由大小写字母、中文、数字、下划线（_）以及小数点（.）组成，且不能超过128个字符。单击确认。配置数据来源...

创建CDH MR节点

前提条件数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见创建业务流程。已创建阿里云CDH集群，并注册CDH集群至...

功能简介

洞察是一款自助式数据挖掘分析型，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，智能发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。几乎每个业务每天都存在业务...

导入MongoDB数据

展开业务流程，右键单击数据集成。单击新建>离线同步。在新建节点对话框中，输入节点名称，并选择目标文件夹。说明节点名称是由大小写字母、中文、数字、下划线（_）以及小数点（.）中的一种或多种组成，且不能超过128个字符。单击 ...

MySQL节点

您也可以找到相应的业务流程，右键单击业务流程，选择新建节点>数据库>MySQL。在新建节点对话框中，输入名称，并选择节点类型及路径。说明节点名称必须是大小写字母、中文、数字、下划线（_）和小数点（.），且不能超过128个字符。...

快速入门

进入数据开发页面，右键单击 业务流程，选择新建业务流程。新建PyODPS节点。右键单击新建的业务流程，选择新建节点>MaxCompute>PyODPS 3，输入节点名称，单击提交。编辑PyODPS节点。编写程序代码。在PyODPS节点的编辑框中输入测试代码...

应用场景

数据分析业务云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...

数据开发概述

您可通过目录树创建所需对象，或使用业务流程可视化面板拖拽组件，快速构建数据加工流，并支持通过解决方案对业务流程进行进一步的管理。对象管理：支持使用可视化方式创建及管理节点、表、资源及函数。更多详情请参见创建业务流程、任务...

混合存储型（已停售）

业务中的数据访问完全随机。冷热数据的性能和延迟要求热数据访问场景对性能要求很高。冷数据访问场景对延迟的敏感度不高。业务对性能的要求极高。业务对延迟的敏感度高。大Key的访问规律业务中没有大Key。业务中有大Key，且大Key的访问率...

加工数据

在数据开发页面，展开目标业务流程。右键单击 MaxCompute，选择新建表。在新建表对话框中，输入表名称，单击新建。重要表名必须以字母开头，不能包含中文或特殊字符，且不能超过64个字符。此处需要创建的数据表，如下所示：创建三张...

新零售：特步

PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍特步（中国）有限公司如何通过 PolarDB-X 应对...

数据仓库研发规范概述

数据仓库研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，赋能企业、政府更强大的数据掌控力来应对海量增长的业务数据，从而释放更多人力与财力专注...

大数据业务流程

新品推荐