规划工作空间
工作空间权限模型 DataWorks各主要模块针对工作空间的权限隔离设定有所不同：功能模块 权限模型 工作空间管理 不同的工作空间的是 完全隔离 的。不同的工作空间可以有不同的管理员、不同的内部成员，各工作空间拥有完全独立的成员角色设定...
场景：工作空间模式升级（简单模式升级标准模式）
若您当前使用的是简单模式工作空间，但希望将开发与生产环境隔离，可将简单模式工作空间升级为标准模式工作空间。本文为您介绍如何升级工作空间模式。操作须知 升级工作空间模式前，您需先了解以下内容：了解简单模式与标准模式工作空间的...
并行计划
因为每个工作者只执行完成计划的并行部分，所以不可能简单地产生一个普通查询计划并使用多个工作者运行它。每个工作者都会产生输出结果集的一个完全拷贝，因而查询并不会比普通查询运行得更快甚至还会产生不正确的结果。相反，计划的并行...
附录：消息格式
dataworks:FileChange:ReviewFile 代码评审 dataworks:TableChange:CommitTable 提交表至开发环境 消息实体格式：表变更事件（提交表至开发环境、发布表至生产环境）dataworks:TableChange:DeployTable 发布表至生产环境 dataworks:...
SQL查询
功能概览 功能 说明 添加目录 支持您将系统推荐目录及已授权的数据源下的数据表添加至目录，添加为目录后您可快速查看相应目录下的SQl文件或者数据表，对于数据表支持您快速查看表结构并快速生成查询SQL。创建SQL查询 您可新建SQL查询文件...
GetProject
ResidentArea String private 工作空间的类型，private为私有区，swap为交换区。IsDefault Integer 1 是否为默认工作空间，取值如下：1，是。0，否。Destination Integer 0 该字段已废弃。ProjectName String abc 工作空间的显示名称。...
服务初始化
3.创建DataWorks工作空间 创建前准备 创建工作空间前，您需先规划工作空间并选择合适的空间模式，具体如下表。操作项 描述 参考链接 规划工作空间 工作空间为DataWorks支持的最大业务划分粒度，使用工作空间前，您需要先了解工作空间的体系...
计费项
计费公式 包年包月 Intel X86架构：一个工作空间的总价=工作空间管控资源费用+各项目空间计算资源费用之和 工作空间管控资源费用=管控资源CU数*X86管控资源单价*购买时长 项目空间计算资源费用=计算资源CU数*X86 单（或 跨）可用区计算资源...
搭建与管理（基于DLF和OSS）
DLF所在区 连接DLF所在的可用区，请您根据地域进行选择。可选项如下：杭州：cn-hangzhou 上海：cn-shanghai 北京：cn-beijing 深圳：cn-shenzhen 张家口：cn-zhangjiakou 新加坡：ap-southeast-1 法兰克福：eu-central-1 DLF Endpoint DLF...
租户工作台
表名大小写 显示当前租户是否区分表名大小写。说明 仅 MySQL 模式的租户支持该字段。时区 显示当前租户设置的时区。事务日志服务 显示当前租户是否开通事务日志服务。数据合并 显示当前租户的每日数据合并时间。单击数据合并后的 操作，可...
修改工作流集群配置
成本优先调度：默认使用抢占式Spot ECI运行工作流，确保低成本运行工作流，同时可选择多机型和多可用区提高供给率。使用抢占式Spot ECI运行工作流，可能出现抢占式Spot库存不足，或者抢占式Spot实例被提前回收，导致工作流运行失败。...
查看公共表
DataWorks支持查看MaxCompute、AnalyticDB for PostgreSQL、Hologres和EMR公共表（同一租户下的生产表），您可以在公共表页面选择引擎类型和引擎名进行查看。前提条件 如果您需要查看MaxCompute公共表，请绑定MaxCompute计算引擎。详情请...
数据准备快速入门
数据准备（轻量ETL）可以将数据源表或者数据集中的数据进行清洗、聚合、关联和合并等操作，并将加工后的数据输出，让不会写SQL代码的业务人员能够低成本完成BI可视化数据的准备。常规流程为在数据源模块建立数据库连接后，开发者将数据源表...
创建并管理维表
参数 描述 目标工作空间 请选择维表对应的MaxCompute资源所属的DataWorks工作空间，后续通过维表创建的MaxCompute表会同步至该工作空间。表名 维表的名称。此处创建的表会同步为MaxCompute生产表。说明 表名仅支持使用英文的a-z、A-Z、数字...
表管理
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
参数说明
对于并行顺序扫描，被扫描的表数据量总是等于表的尺寸，但是在使用索引时，被扫描的表数据量通常会更小。默认值是8MB。min_parallel_index_scan_size 为必须扫描的索引数据量设置一个最小值，扫描的索引数据量超过这一个值时才会考虑使用...
编辑维表
您可以在页面左侧查看MaxCompute生产表的 所属工作空间、表名、表描述、生命周期 等 维表信息。您可以单击 修改字段设置，在 修改字段设置维表 对话框中，修改 表描述 和 生命周期，并可以添加字段。页面右侧以表格形式为您展示MaxCompute...
创建安全联邦学习工作流（工作流模式）
场景描述 A有一张数据表demo_fl_alice_train_original用于记录人群属性（学历、工作经历等），标签是income；B有一张数据表demo_fl_bob_train_original用于记录人群属性（关系、民族等）。需求是 A想联合B数据，使用XGB，进行联合建模。可...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
设置工作空间临时表清理时间
在Designer中运行基于MaxCompute资源的组件会生成临时表，过多临时表会消耗...② 一键清理当前工作空间下临时表 配置 清理下面日期之前的临时表 参数，并单击 清理，系统会自动为您清理该日期之前的所有以 pai_temp_开头的MaxCompute临时表。
透视分析：按资源类型
表数量趋势：查看所选工作空间在指定时间段内的开发表、生产表或所有表的数量变化趋势。表存储分布：查看所选工作空间在指定日期内表的存储情况。表存储趋势：查看所选工作空间在指定时间段内的开发表、生产表或所有表的存储变化趋势。表...
创建及管理外部表
使用限制 Hologres支持跨工作空间读取外部表数据，您当前使用的账号需要拥有其他工作空间的MaxCompute表访问权限，才可以使用HoloStudio一键创建外部表直接读取MaxCompute表数据。当MaxCompute的源头表存在时，您才可以新建外部表并读取...
创建及管理外部表
使用限制 Hologres支持跨工作空间读取外部表数据，您当前使用的账号需要拥有其他工作空间的MaxCompute表访问权限，才可以使用HoloStudio一键创建外部表直接读取MaxCompute表数据。当MaxCompute的源头表存在时，您才可以新建外部表并读取...
空间管理员职责
空间管理员需要保证工作空间生产环境的稳定、控制工作空间成员中的角色权限（权限最小化，够用即可），并控制表的权限。添加工作空间成员 空间管理员有权限添加RAM子账号为工作空间成员，并在相应的工作空间为子账号授权相应的角色。每个...
数据导入方式
Lindorm宽表引擎支持通过DataWorks配置导入任务，将MySQL、PolarDB、PostgreSQL、Oracle、SQL Server和Cassandra中的数据 全量导入 至Lindorm宽表引擎中。本文介绍如何通过DataWorks配置Lindorm导入任务。前提条件 已将客户端IP添加至...
集成简介
云工作流 支持与阿里云多个云服务进行集成，允许您在流程中调用这些云服务的API进行相关资源的操作，完成业务流程构建。本文介绍 云工作流 的服务集成类型和集成模式等。集成类型 云工作流 与云服务的集成类型包括普通集成和优化集成。普通...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源（Resource）下表是 Serverless 工作流（FnF）定义的资源，这些资源可以在RAM权限策略语句的 Resource 元素中使用，用来授予对该资源执行具体操作的权限。其中，资源ARN是...
常见问题
A：自动分区的工作模工下，建表SQL在不指定分区键的情况下，PolarDB-X 会按主键（如果表没有指定主键，则使用隐式主键）并使用 KEY分区 策略进行默认分区，默认分区的分区数目=实例创建时逻辑节点数×8。比如，PolarDB-X 实例创建时，逻辑...
离线调度
本工作流以广告CTR预测场景为例，为您介绍如何使用PAI提供的数据挖掘组件进行离线调度。背景信息 本工作流流程如下：通过历史数据，在阿里云机器学习平台上进行模型训练。通过大数据开发套件对模型进行调度。每天凌晨对广告投放进行CTR预测...
EMR旧版数据开发迁移公告
阿里云EMR团队+客户 1~3天 联系我们 阿里云EMR团队，针对此次迁移提供了完善的迁移方案和技术工具支持，如果您需要迁移至EMR Worflow，请先填写 EMR工作流迁移登记表，然后使用钉钉搜索钉钉群号 34405021286 加入钉钉迁移群，我们会安排...
错误处理
Serverless 工作流 支持与多个云服务集成，当使用云服务作为 Serverless 工作流 任务步骤的执行节点时，您可以根据业务场景对执行的错误进行重试或捕获处理，使您的任务在生产场景中更稳定地运行。本文介绍错误处理的方式及如何在不同的...
MaxCompute数据访问权限控制
权限审计 阿里云主账号或空间管理员进入 权限审计 页面对工作空间下的成员及其拥有的表权限进行管控，支持对工作空间下某成员所拥有的权限进行回收。进入数据访问控制 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>...
查看并管理治理工作台
参数 描述 ① 搜索及筛选区 您可以选择 Dataphin表、全域表、数据源、指标 或 实时元表 不同的治理对象查看治理详情。您也可以根据校验对象的名称或质量规则的名称进行模糊搜索，或者根据 治理项、待处理的、规则强度、治理状态 进行精确...
查看并管理治理工作台
参数 描述 ① 搜索及筛选区 您可以选择 Dataphin表、全域表、数据源、指标 或 实时元表 不同的治理对象查看治理详情。您也可以根据校验对象的名称或质量规则的名称进行模糊搜索，或者根据 治理项、待处理的、规则强度、治理状态 进行精确...
数据库实时入仓快速入门
表结构 users表的表结构比MySQL源表中多了_db_name和_table_name两列，代表数据来源的库名和表名，且作为联合主键的一部分来保证分库分表合并后的数据唯一性。表数据 在users表信息页面右上角，单击 查询表 后，输入如下命令，单击 运行。...
查看物理表信息
物理表信息：包括表名称、表描述、项目名称、创建时间、资源类型、表总行数（如果是分区表，则为区个数）、表大小等基本信息。表结构：包括物理表的列名、类型、标签及备注等字段信息；如果是分区表，可筛选分区查看。物理表DDL：创建该表...
时间窗口SQL脚本
如果您在SQL语句中自行创建了数据表，请按需设置临时表的生命周期，详情请参见 管理工作空间。可视化配置组件参数 Designer 仅支持通过可视化方式，配置该组件参数，参数详情如下表所示。参数 描述 业务基准日期 支持以下两种配置方式：...
查看物理表信息
物理表信息：包括表名称、表描述、项目名称、创建时间、资源类型、表总行数（如果是分区表，则为区个数）、表大小等基本信息。表结构：包括物理表的列名、类型、标签及备注等字段信息；如果是分区表，可筛选分区查看。物理表DDL：创建该表...
创建流程
本文以创建标准模式的工作流为例进行说明，关于 云工作流 支持的工作流模式，请参见 标准工作流和快速工作流。在Workflow Studio页面，选择状态浏览区的状态节点 Request，长按鼠标左键拖动至画布，待出现一条横线或竖线时放开鼠标，将其放...
集成云工作流
云工作流 支持将 云工作流 本身作为流程的节点集成到一个工作流中，即通过一个流程触发另一个或多个子流程。本文介绍 云工作流 集成 云工作流 的示例代码、参数说明、返回值说明和支持的集成模式以及错误定义。示例代码 以下为一个典型的 ...
- 产品推荐
- 这些文档可能帮助您