交叉透视表
数据单元格：设置单元格中数据的对齐方式、文本样式和线型样式等。参数 说明 水平对齐 设置数据的水平对齐方式。可选：左对齐、居中对齐和右对齐。垂直对齐 设置数据的垂直对齐方式。可选：上对齐、居中对齐和下对齐。文本样式 设置数据的...
交叉透视表
当数据单元格选中时抛出回调值，默认抛出数据中的 row1、row2、column1、column2 和 value1 字段。具体配置请参见 组件交互配置。蓝图交互 单击页面左上角的 图标，进入 蓝图 页面。在 图层节点 页签下，添加当前组件至主画布中。查看蓝图...
GetFile
该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR Streaming SQL数据开发任务，编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters Array of InputContextParameter 节点上下文输入参数。该参数与 DataWorks控制...
UpdateFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...
CreateFile
调用CreateFile，在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...
通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”中的“从代码解析输入输出”对应。SchedulerType String 否 NORMAL 调度的类型，取值如下：NORMAL：正常调度任务。MANUAL：手动任务，不会被日常调度，对应手动业务流程...
通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR Streaming SQL数据开发任务，编辑页面右侧导航栏的“配置>时间属性>启动方式“对应。InputParameters String 否[{"ValueSource":"project_001.first_node:bizdate_param",...
GetIDEEventDetail
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。ResourceGroupId Long 375827434852437 文件发布成任务后，任务执行时使用的资源组。您可以调用 ...
必读：简单模式和标准模式的区别
附录：不同工作空间模式下，DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发中已绑定的数据源信息。绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 ...
应用示例：数据开发过程触发事件检查
支持的扩展点事件 DataWorks数据开发中，目前支持对以下的扩展点事件进行消息通知，通过扩展程序实现校验并响应。DataStudio-运行文件 DataStudio-提交文件 DataStudio-发布文件 DataStudio-删除文件 DataStudio-提交表 DataStudio-发布表 ...
表格
说明 如果表格数据类型为接口数据源，显示分页器需要满足的要求，请参见 接口。筛选器 只有当组件数据源类型为数据表资源时，支持该功能。更多信息，请参见 筛选器配置。无数据提示 设置是否显示无数据提示。如果显示，可设置显示的样式。...
表格
说明 如果表格数据类型为接口数据源，显示分页器需要满足的要求，请参见 接口。无数据提示 设置是否显示无数据提示。如果显示，可设置显示的样式。单击 完成配置，返回移动应用编辑器，查看已配置的组件数据。调整组件宽高和在页面中的布局...
数据地图概述
说明 如果需要在 数据开发 中 表管理 进行可视化建表操作，请先在数据地图进行元数据采集，可视化建表操作仅支持绑定为引擎类型的数据源。详情请参见 表管理。网络连通 如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理，...
基本概念
其中，在数据开发中绑定MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL 3.0、ClickHouse、E-MapReduce和CDH/DCP数据源后，即可在工作空间开发和调度引擎任务。业务流程 针对业务实体，抽象出 业务流程 的概念，...
开发ODPS Spark任务
说明 由于数据开发中的ODPS Spark节点没有运行入口，因此您需要在开发环境的运维中心执行Spark任务。查看返回结果。待补数据实例运行成功后，进入其运行日志的 tracking URL 中查看运行结果，如下：False True True True True 编辑代码：...
运维中心概述
已到达任务节点设置的定时运行时间 数据开发中定义节点的调度属性时，需要为节点设置调度环境下节点运行的“理想时间”。当当前节点依赖的所有父节点都在当前节点设置的定时运行时间点前执行成功，那么当父节点全都执行成功后，当前节点将...
使用函数计算
步骤一：为数据表开启Stream功能 使用触发器功能需要先在表格存储控制台开启数据表的Stream功能，才能在函数计算中处理写入表格存储中的增量数据。登录 表格存储控制台。在页面上方，选择地域。在 概览 页面，单击实例名称或在实例 操作 列...
使用函数计算清洗数据
步骤一：为数据表开启Stream功能 使用触发器功能需要先在表格存储控制台开启数据表的Stream功能，才能在函数计算中处理写入表格存储中的增量数据。登录 表格存储控制台。在页面上方，选择地域。在 概览 页面，单击实例名称或在实例 操作 列...
表格产品说明书
单元格、单元格地址及活动单元格 单元格 每个工作表都由多个长方形的“存储单元”构成，这些长方形的“存储单元”在表格中被称为单元格。单元格是表格文档最基本的组成单位。每张工作表是由若干个单元格组成。单元格是工作表最基本的“元件...
FineReport
数据来源：单元格数据；分类名：=B4；系列名：=C3；值：=C4。说明 分类名、系列名、值在设置的时候必须要有等号，否则单元格会被作为字符串处理 报表预览：报表必须先保存才能预览，单击 保存 保存报表，单击 预览，选择分页预览，即可在...
产品架构
数据湖架构 数据湖架构主要用于数据中台、推荐系统、风控系统等场景。在数据湖架构中，表格存储 作为源表、结果表或者维表对接流批计算引擎实现大数据计算与分析。物联网架构 物联网架构主要用于车联网、智能家电、工业物联网、物流等场景...
操作指南
您可以在Dataphin工作台进行数据开发、数据治理等操作。功能 文档 Dataphin全托管 数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心概述 分析平台概述 标签工厂概述 资产全景及目录概述 数据标准概述 资产质量概述 资源治理...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
概述
数据开发 的核心功能如下：文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表，加速...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
流程管控
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据...同时要为在数据开发过程中的资源使用赋权，并做好数据安全隔离。关于MaxCompute数仓安全和权限配置详情，请参见 安全模型。
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
集成与开发概览
DMS的数据集成与开发功能模块，针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
功能发布记录（2024年）
手动选择 按链路选择 按工作空间选择 指定任务及所有下游 2024.3.28 所有地域 所有DataWorks用户 执行补数据并查看补数据实例（新版）开放平台支持通过函数计算开发部署扩展程序 在DataWorks的扩展程序中，您可自定义事件消息的卡点逻辑，...
功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...
阶段二：数据安全防护措施及策略增强建设
在数据开发、测试场景下，开发人员在生产环境中导出数据进行开发或测试时，不展示明细数据时也不会影响开发工作。为避免数据分析师、开发人员滥用数据，出于非工作目的查看明细数据，则可采用数据脱敏能力（支持保留格式加密、掩盖、HASH...
将表格存储数据下载到本地文件
表格存储支持通过命令行工具或者DataX工具直接...通过DataWorks控制台将表格存储中的全量数据或者增量数据同步到OSS。具体操作，请参见 全量导出（脚本模式）和 增量同步（脚本模式）。在OSS侧下载文件到本地。具体操作，请参见 简单下载。
后续指引
开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各版本支持的数据类型、适用场景及各版本间的差异，避免开发过程中出现数据类型无法解析问题。介绍：数据类型 常见问题：数据类型常见问题 常用命令 提供开发过程中的针对 表...
计算与分析概述
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL...
- 产品推荐
- 这些文档可能帮助您