产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
开发ODPS Spark任务
在 数据开发 页面新建Python类型的资源，并命名为 spark_is_number.py，详情请参见 创建并使用MaxCompute资源。代码如下：#-*-coding:utf-8-*-import sys from pyspark.sql import SparkSession try:#for python 2 reload(sys)sys....
API调用特殊参数说明
使用场景 交管云控平台使用数据资源平台统一服务作为数据服务发布、管理的平台，交通行业线的API开发者在为API服务编写查询SQL时，会选择使用比较基础的语法，例如只包含SELECT和WHERE条件做一些简单的查询逻辑。等到API开发完成上线后，...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
API调用特殊参数
使用场景 交管云控平台使用 数据资源平台 统一服务作为数据服务发布、管理的平台，交通行业线的API开发者在为API服务编写查询SQL时，会选择使用比较基础的语法，例如只包含select和where条件做一些简单的查询逻辑。等到API开发完成上线后，...
新功能发布记录
2023-08-31 组件配置项的数据源 文字 矩形 指示灯 图片 重复列表 设备数据源 复合组件 Web可视化开发 功能名称 功能描述 发布时间 相关文档 基础组件 文字、矩形、指示灯和图片组件优化：支持根据设备物模型属性设置组件可见性和组件内容...
移动分析简介
移动分析服务（Mobile Analysis Service，简称 MAS）是 mPaaS 平台的一个核心基础服务组件，是一项方便您轻松地大规模收集、可视化并理解应用程序使用数据的服务。MAS 通过统计和分析客户端流量、性能质量和用户行为等数据，用数据实现产品...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
HoloStudio一键迁移至DataStudio
为给您提供一致的开发体验，HoloStudio产品能力将整合至DataStudio中，届时您可使用DataStudio相关功能继续进行Hologres的数据开发。在指定时间内，您可参考本文手动迁移HoloStudio的已有文件至DataStudio；超过该时间，系统将自动为您完成...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
我的地盘
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 我的地盘 页签，在我的地盘页面中查看模型的相关信息。
MaxCompute函数管理
您可以通过MaxCompute函数面板，查看在MaxCompute计算引擎中存在的函数、函数的变更历史，并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
入门概述
本模块将指引您快速完成一个完整的数据开发和运维操作。说明 如果您是第一次使用DataWorks，请确认已经根据 准备工作 模块的操作，准备好账号和工作空间角色等内容后，登录DataWorks控制台，单击相应工作空间后的 进入数据开发，即可进行...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
用户管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 用户管理 页签，在用户管理页面中查看...
模型目录
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据开发>DATABLAU。选择 模型目录 页签，在模型目录页面中查看模型的详细信息。...
查看数据开发操作记录
在数据开发DataStudio界面中，您可在 操作历史 界面通过操作类型、操作人、操作时间进行筛选，查看人员在当前工作空间中的操作记录。使用说明 仅支持查看DataStudio中以下几类操作记录：任务责任人变更操作、任务调度属性变更操作、任务及...
TPCH和TPCDS
Zeppelin自带了TPCH和TPCDS的教程Note，您无需任何配置就可以在E-MapReduce（简称EMR）数据开发集群进行TPCH和TPCDS的性能测试。背景信息 EMR数据开发集群中的TPCH支持Hive、Spark、Flink和Presto四个引擎，TPCH详细信息，请参见 TPC-H。...
实时大盘
查看数据分析实时大盘的步骤如下：登录控制台，单击 产品与服务>移动开发平台 mPaaS，选择应用。在导航栏左侧，单击 移动分析>数据概览。在右侧页面，单击 实时大盘 标签，进入实时大盘页面。选择平台、版本、渠道，以查看对应的细分数据。...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
执行冒烟测试
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试，开启强制冒烟测试功能后，当前工作空间任务发布前需要...
API实战实践
最佳实践：文件管理OpenAPI基础实践 最佳实践：表管理OpenAPI基础实践 通过OpenAPI创建、修改、删除离线同步任务 最佳实践：数据开发、提交与运行OpenAPI基础实践 最佳实践：数据ETL操作全流程实践 最佳实践：搭建自定义运维大屏 最佳实践...
集成与开发概览
您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于企业独有的数据平台。产品优势 流批一体技术，支持20多种数据实时、离线集成。低代码开发。100%兼容Flink、Spark。支持链路及开发过程中的数据安全。分钟级调度。多...
HoloStudio（即将下线）
为给您提供一致的开发体验，DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发（DataStudio）中，从 2024年2月29日 开始，HoloStudio将不再提供服务，届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...
通用开发流程
DataWorks将不同类型引擎任务封装为不同节点，通过创建节点来生成数据开发任务。同时，数据开发（DataStudio）支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需...
通用参考：切换资源组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏，单击 数据开发，找到目标离线同步...
用户授权与管理
使用数据建模DATABLAU功能时，在进行定义标准、数据建模、数据开发、部署运维等不同任务时，通常需不同角色的用户进行操作，对应用户需获取相应的权限。本文为您介绍制定标准、数据建模并应用部署过程中推荐的用户角色权限规划与授权操作...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python...面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的工具 MaxFrame支持在本地环境、DataWorks、MaxCompute Notebooks中使用。详情请参见 准备工作。
运行历史
运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录，单击相应的任务，即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发（DataStudio）最近三天的运行记录。如您需查看调度任务每日运行情况，请前往 运维...
DataWorks新版数据源公告
若想使用创建的数据源进行数据开发，则数据源创建完成后还需进入数据开发（DataStudio）进行模块绑定。已绑定的计算引擎：已绑定的计算引擎迁移至 数据开发>数据源 管理。编辑计算引擎：不再支持直接编辑计算引擎，如需编辑可直接通过编辑...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
创建数据脱敏场景
脱敏场景介绍 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等一级脱敏场景为固定场景，不支持执行新增、编辑、删除等操作。同时，DataWorks...
任务调试流程
调试运行单个任务 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击业务流程目录下的目标节点，进入该节点的编辑页面。调试运行任务。在节点编辑页面，使用节点工具栏中的运行或高级运行调试代码逻辑，也可通过快捷运行调试...
子账号使用DataWorks
访客 仅有只读权限，可以查看数据开发页面的业务流程设计和代码内容。安全管理员 仅有数据保护伞模块的操作权限，详情请参见 数据保护伞。使用子账号登录 DataWorks控制台，单击 数据开发 页面的 DataStudio。您可以根据业务需求进行数据...
进入数据质量概览（旧版）
查看数据质量概览 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据质量，默认进入 概览 页面。模块 描述 我的订阅 为您展示当前...
创建并使用AnalyticDB for PostgreSQL节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点>AnalyticDB for PostgreSQL>ADB for PostgreSQL。在 新建节点...
调试代码片段：快捷运行
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。查找目标节点并进入节点编辑页面。在 数据开发 或 手动业务流程 功能模块的目录树，或通过 临时查询 功能，查找目标...
敏感数据概况
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。单击左侧导航栏的 ...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
导出数据建模基础信息
支持您通过导出数据建模基础信息功能，下载数据建模基础信息到本地进行查看并搭配导入功能，您可以快速实现工作组间的数据建模基础信息迁移。本文介绍如何导出数据建模基础信息。前提条件 已存在数据建模基础信息，具体操作，请参见 新建...
- 产品推荐
- 这些文档可能帮助您