数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
平台安全诊断
建议您参考 附录：预设角色权限列表（空间级）、DataWorks数据开发介绍及实践 深入了解各角色用途后进行适当配置。避免作为调度访问身份的子账号频繁登录 说明 建议禁止登录作为引擎调度访问身份的子账号，以免发生无关成员查看引擎关键...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据迁移
最佳实践合集 MaxCompute跨项目数据迁移：同一地域的MaxCompute跨项目数据迁移，详情请参见 使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移 或 通过DataWorks实现MaxCompute跨项目迁移。不同地域的MaxCompute跨项目数据迁移，详情请...
通过大数据平台搭建设备监控大屏
本文介绍如何对接物联网平台和阿里云大数据平台，以实现设备数据分析、统计、计算和可视化实时展示。前提条件 开通、购买相关阿里云产品实例和计算资源。使用阿里云大数据平台处理物联网平台设备相关数据，涉及多个阿里云产品，包括 云数据...
阶段二：数据安全防护措施及策略增强建设
当数据分析师或数据开发人员新人入职时，如果仅通过人工授权，则工作量巨大，且可能出现错漏。此时，管理员可通过定义“DataWorks自定角色+MaxCompute Role”及DataWorks OpenAPI来进行自动化授权，实现人员入职成功后即可拥有最基本的数据...
基本概念
数据开发 场景：场景定义数据输出的方式，一个场景包含一种或多种数据输出的方式。计算资源：可以执行计算节点的资源。使用“场景加工”时并不会单独执行一个计算节点任务，需要把计算节点组织成流程执行，所以需要计算资源支持流程的批量...
自动化治理-物化视图
DataWorks数据开发模块中绑定的MaxCompute项目，开启物化视图推荐后，当需要满足以下条件时，将会在物化视图推荐页面生成物化视图推荐。周期任务连续运行3天以上。公共子查询中的输入数据量大于1000000。公共子查询中需要包含JOIN或AGG...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
DataWorks V2.0
DataWorks V2.0发布 发布版本：DataWorks V2.0 发布时间：2018年7月25日 发布范围：华东2区域 发布内容：DataWorks V2.0在DataWorks V1.0的基础上，新增业务流程、组件的概念，并完善数据开发体系。DataWorks V2.0支持双工作空间开发，隔离...
采集数据
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标 将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...
创建Hologres内部表
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程，则可以忽略该步骤。鼠标悬停至 图标，选择 新建业务流程。在 新建业务流程 ...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
功能特性
审计日志 权限管理 权限管理 为确保MaxCompute项目数据的安全性，项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控，确保权限不会过大也不会过小。权限管理 管理&运维 MaxCompute提供用户可视化运维、管理功能，方便...
扩展程序概述
产品能力 DataWorks作为阿里云一站式大数据开发与治理平台，在各项能力支持上预设了很多拓展点，例如，在标准模式下，简略来看，节点创建后完成代码开发后，需先提交到开发环境中进行验证，完成后再正式发布到生产环境中，后续每天根据调度...
DataWorks产品安全能力介绍
数据列级别多级审批：基于底层大数据引擎的访问控制列表与数据分级分类，DataWorks支持按项目与数据分级分类，定义数据列的权限申请及审批策略。说明 仅DataWorks企业版支持您根据业务需要自定义审批流程。数据质量规则：支持管理员配置...
场景：切换调度时区
在数据开发（DataStudio）界面，进入该项目的目标节点的编辑页面。单击节点编辑页面右侧导航栏的 调度配置，进入节点调度配置页面。在 调度配置 页面，显示在 时间属性 下面的就是当前所在的调度时区。附录：数据集成相关时间处理 数据集成...
数据服务权限列表
数据服务总览、个人工作台、运维管理和平台管理模块中四种角色的具体权限说明：数据服务总览 个人工作台 运维管理 平台管理 数据服务总览 权限点 服务项目管理员 开发用户 业务应用用户 运维用户 查看API服务列表 Y Y Y Y 查看API文档 Y Y ...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
什么是EMR Serverless Spark
一站式的开发体验 提供作业开发、调试、发布、调度等一站式数据开发体验。内置版本管理、开发与生产隔离，满足企业级开发与发布标准。Serverless的资源平台 开箱即用，无需手动管理和运维云基础设施。弹性伸缩，秒级资源弹性与供给。按量...
DataWorks数据服务对接DataV最佳实践
现在通过DataWorks为您提供的 数据集成>数据开发>数据服务 的全链路数据研发平台，结合MaxCompute即可快速搭建企业数仓。DataWorks数据服务提供了快速将数据表生成API的功能，通过可视化的向导模式操作，无需代码便可快速生成API，然后通过...
MaxCompute数据访问权限控制
如果需要跨项目操作开发表或生产表，子账号需要在 安全中心 发起申请，待审批通过后，便可在数据开发界面对表进行相关操作。数据访问权限管控流程 数据访问控制功能支持您进行 权限申请、权限审批、权限审计 的操作，还支持您查看 权限申请...
功能发布记录 2022年之前
透视分析：按资源类型 2021-11 功能名称 功能描述 发布时间 发布地域 相关文档 数据开发新增资源组编排功能。DataWorks的资源组编排功能，帮助您在数据开发阶段，批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个...
创建并使用MaxCompute资源
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入资源创建入口。在数据开发页面右键单击目标业务流程，选择 新建资源，在 MaxCompute 目录下选择合适类型资源创建。...
Check节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击 图标，选择 新建节点>通用>Check节点。根据界面指引，输入节点的路径、名称等信息。步骤二：...
功能发布记录（2022年）
2022.7.2 华东1（杭州），华东2（上海），华北2（北京），华北3（张家口），华南1（深圳），西南1（成都），中国香港 所有DataWorks用户 数据开发概述 2022-6 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据治理中心全面开放...
规格说明
如A开发者创建了15个项目，那么B开发者没有购买扩展包的前提下最多只能创建5个项目，但A、B两个开发者开发的项目之间数据互不影响。可视化组件：可视化大屏是由多个组件构成，您可以通过对组件进行配置来完成您的可视化大屏设计，同时DataV...
周期任务基本运维操作
节点 版本 如果通过发布流程发布的操作无详细记录，您可以在数据开发界面，通过节点版本与生产环境版本对比，获取版本变更的详细情况。详情请参见：发布任务。操作历史 操作历史可以查看任务、实例、基线的操作记录。需求请参见：查看运维...
新功能发布记录
2023-08-02 产品规格 购买方式 2023年07月 项目管理 功能名称 功能描述 发布时间 相关文档 数据资产关联 在应用和业务逻辑开发中，如需使用数据服务自定义API和数据表等数据资产，必须先在IoT Studio项目中进行关联。2023-07-31 项目 2023...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
规格说明
如A开发者创建了15个项目，那么B开发者没有购买扩展包的前提下最多只能创建5个项目，但A、B两个开发者开发的项目之间数据互不影响。可视化组件：可视化大屏是由多个组件构成，您可以通过对组件进行配置来完成您的可视化大屏设计，同时DataV...
服务条款
云开发平台有权对用户使用云开发平台的情况进行审查和监督，如用户在使用云开发平台时违反任何上述规定，云开发平台或其授权的人有权要求用户改正或直接采取一切必要的措施（包括但不限于更改或删除用户张贴的内容、暂停或终止用户使用云...
功能简介
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
数据开发
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键部署和上线能力，极大的提高了工程效率。节点模式 节点模式...
MaxCompute数据源
使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。2023年12月11日 之后创建的MaxCompute数据源，若数据源所在的DataWorks服务与需要...
开发ODPS Spark任务
在 数据开发 页面新建Python类型的资源，并命名为 spark_is_number.py，详情请参见 创建并使用MaxCompute资源。代码如下：#-*-coding:utf-8-*-import sys from pyspark.sql import SparkSession try:#for python 2 reload(sys)sys....
平台新功能更新记录
2021-07-29 天猫精灵生态项目 全部 天猫精灵数据看板 自有品牌项目数据接口 在自有品牌项目下，运营中心开放了获取数据信息的API接口。您可以通过设备数据接口和用户反馈接口来获取产品的数据统计信息。2021-07-29 自有品牌项目 全部 自有...
功能简介
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
- 产品推荐
- 这些文档可能帮助您