DataWorks On CDP/CDH使用说明
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足 CDP或CDH 基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的 标准版、专业版、企业版 ...
绑定交互式分析实例
进入DataWorks工作间之后，单击左上角的 图标，选择 全部产品>数据开发与运维>HoloStudio，进入HoloStudio开发界面。进入HoloStudio后，在 PG管理 单击 刷新，即可看到已成功绑定DB，之后您可以开始使用HoloStudio开发。选择已有工作空间...
创建CDH Presto节点
在 新建节点 弹窗中，配置节点的 名称，完成后单击 确认，完成节点创建，后续您可在创建的节点中进行对应任务的开发与配置操作。步骤二：开发Presto任务 您可以双击已创建的节点，进入任务开发页面，进行以下任务开发操作。（可选）选择CDH...
创建MaxCompute数据源
数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供MaxCompute任务的开发与调度能力，若您需要基于该MaxCompute数据源进行MaxCompute任务开发，或周期性调度MaxCompute相关...
管理作业模板
在左侧导航栏，选择 作业 与性能 管理>作业。在 作业 页面，选择待创建作业模板的集群。单击页面左侧的 提交作业 页签。在 提交作业 区域，完成作业参数配置，单击 图标将当前作业参数配置保存为模板。作业模板名不能和已创建的作业模板名...
停止作业
当作业运行失败或不再需要...在左侧导航栏，选择 作业与性能管理>作业。在 作业 页面，在 集群 列表中选择作业所在集群。单击 作业列表 页签，在作业状态栏选择 未完成。单击要停止的作业操作列的 详情。单击作业信息面板右下角的 停止作业。
创建CDH MR节点
单击 确认，完成节点创建，后续您可在创建的节点中进行对应任务的开发与配置操作。步骤二：创建并引用CDH JAR资源 DataWorks支持您从本地先上传资源至DataStudio，再引用资源。具体操作如下：创建CDH JAR资源。在对应业务流程中，右键单击 ...
创建并使用PAI Designer
后续您可在节点中进行对应工作流任务的开发与配置。步骤二：开发PAI Designer节点任务 简单示例 开发任务：编写Designer工作流 编辑PAI Designer节点任务时，如选择加载已有工作流，则需提前在PAI中创建Designer工作流，通过名称搜索，载入...
开发管控：管理者
功能点 说明 相关文档 任务开发与发布权限控制 通过赋予用户不同角色权限，控制是否可以实现相应功能。具体如下：控制某用户不允许发布任务，可仅赋予该用户开发角色权限。控制某用户不允许进入数据分析，则请勿为该用户赋予数据分析师角色...
SQL作业开发
本文为您介绍Flink全托管SQL作业开发的操作步骤。使用说明 在编写SQL作业代码时，您可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能。相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 ...
扩展程序概述
产品能力 DataWorks作为阿里云一站式大数据开发与治理平台，在各项能力支持上预设了很多拓展点，例如，在标准模式下，简略来看，节点创建后完成代码开发后，需先提交到开发环境中进行验证，完成后再正式发布到生产环境中，后续每天根据调度...
SSH节点
节点创建完成，您可在节点中进行对应任务的开发与配置。步骤二：开发SSH任务（可选）选择SSH数据源 如果您的工作空间创建了多个SSH数据源，需先在SSH节点编辑页面选择合适的数据源。如果仅创建了一个SSH数据源，默认使用该数据源进行开发...
使用Kafka连接器进行Kerberos认证
只有在Flink开发控制台正确配置Kerberos和Kafka服务的信息，Flink作业才能访问开启Kerberos认证服务的Kafka集群。本文为您介绍如何为Kafka客户端开启Kerberos认证。使用限制 云消息队列Kafka版 暂不支持Kerberos认证。步骤一：准备工作 在...
DataStream连接器设置方法
Maven中央库中已经放置了 VVR DataStream连接器，以供您在作业开发时直接使用。您可以通过以下任何一种方式来使用连接器：（推荐）上传连接器JAR包到实时计算控制台后，填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用...
创建并使用PAI DLC节点
后续您可在节点中进行对应任务的开发与配置。步骤二：开发PAI DLC任务 开发任务代码：简单示例 在PAI DLC节点编辑页面，您可通过如下方式编写DLC任务：基于已有DLC任务编写任务代码。通过名称搜索，载入在人工智能平台PAI已创建的DLC任务。...
功能发布记录（2024年）
2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...
查看作业结果
在左侧导航栏，选择 作业与性能管理>作业。单击目标作业列表右侧 详情，可以查看作业详细信息。查看作业性能指标。在左侧导航栏，选择 作业 与性能 管理>E-HPC优化器。找到gromacs-test集群，在操作列，单击 节点。选择作业和节点并完成...
API概览
创建作业 调用CreateFlowJob接口，创建数据开发作业。创建数据开发项目 调用CreateFlowProject接口，创建数据开发项目。创建项目集群设置 调用CreateFlowProjectClusterSetting接口，创建项目集群设置。添加项目用户 调用...
代码评审
您可通过如下方式进入代码评审页面：在DataStudio页面单击顶部菜单栏左侧的 图标，选择 全部产品>数据开发与运维>代码评审。在目标节点的编辑页面，单击工具栏的 图标进入。查看并处理评审单。在代码评审页面，您可查看名下已发起或参与...
数据开发功能索引
数据开发与运维：DataStudio（数据开发）、运维中心（工作流）、任务发布、代码评审。数据治理：数据地图、数据质量、安全中心、数据保护伞、数据治理中心。数据分析：数据分析。数据服务：数据服务。机器学习：人工智能平台PAI。更多：...
监控作业
在左侧导航栏，选择 作业与性能管理>作业。在 作业 页面，选择目标集群，单击 作业监控 页签。设置筛选条件。支持设置的筛选条件如下：时间段：过滤某一时间段内的作业数据。可快速选择查看距离当前时间前1小时、4小时、12小时或1天的数据...
数据源开发和生产环境隔离
由于任务最终将发布生产环境执行，若数据源开发环境与生产环境配置不一致，请确保资源组可分别与开发数据源和生产数据源连通。新增数据源隔离模式后，对工作空间有以下影响：仅标准模式工作空间支持数据源开发生产隔离，即开发环境和生产...
DataWorks On EMR使用说明
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足EMR基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的 标准版、专业版、企业版 服务。...
创建数据开发作业
调用 CreateFlowJob接口，创建数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
MySQL节点
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程，则可以忽略该步骤。鼠标悬停至 图标，选择 新建业务流程。在 新建业务流程 ...
创建并管理数据源
标准模式工作空间中，任务在不同环境执行时所访问的数据源如下：在数据开发（DataStudio）模块与开发环境运维中心执行，默认访问开发环境的数据源。在生产环境运维中心执行，默认访问生产环境的数据源。说明 配置数据源时，请确认开发环境...
Flink SQL作业快速入门
本文通过简单的示例，带您快速体验Flink SQL作业的创建、部署和启动等操作，以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作...
修改数据开发作业
调用ModifyFlowJob接口，修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
我的地盘
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 我的地盘 页签，在我的地盘页面中查看模型的相关信息。
计算成本优化
当您需要在保证作业完成的前提下降低包年包月规格计算资源的费用或遇到基于现有资源配置作业完成时间达不到预期的情况时，MaxCompute为您提供 计算成本优化 功能，可基于实际作业请求量和资源配置期望，对 包年包月一级Quota 类型的计算...
用户管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 用户管理 页签，在用户管理页面中查看...
创建Hologres外部表
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程，则可以忽略该步骤。鼠标悬停至 图标，选择 新建业务流程。在 新建业务流程 ...
Job型资源组的优先级队列
本文介绍设置 湖仓版（3.0）Job型资源组的作业优先级和查看优先级的方法。...查看Spark Batch作业优先级 登录 云原生数据仓库AnalyticDB MySQL控制台，在 作业开发>Spark Jar开发 页面的 应用列表 页签中查看作业的优先级。
通用开发流程
进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入数据开发后，您可根据下文流程创建所需任务。开发流程 数据开发任务的通用开发...
使用Spark SQL进行作业开发
本文介绍如何使用Spark SQL进行外表作业开发。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。详情请参见 创建湖仓版集群。已创建Job型资源组。详情请参见 创建资源组。已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通...
模型目录
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据开发>DATABLAU。选择 模型目录 页签，在模型目录页面中查看模型的详细信息。...
通过控制台管理作业
如何开发，请参见 JAR作业开发实践 或 Python作业开发实践。已将作业上传至HDFS或OSS。如何上传至HDFS，请参见 通过控制台上传文件。创建作业 登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击目标实例ID...
使用XIHE BSP SQL进行作业开发
本文介绍如何使用XIHE BSP SQL进行外表作业开发。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。详情请参见 创建湖仓版集群。已创建Job型资源组。详情请参见 创建资源组。已开通OSS服务并创建存储空间和项目。具体操作，请参见 ...
创建解决方案
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开启解决方案配置。在左侧导航栏底部，单击 图标。在 设置 页面的 个人设置 页签，勾选 显示解决...
安装 AntCubeTool
ACT 基于 Node.js 进行设计开发，在使用 ACT 之前请确保已正确安装和配置 Node.js 环境。Node.js 版本不低于 LTS v14，可使用命令 node-v 查看 NodeJS 版本。更多关于使用 Node.js 的信息请参见 Node.js 官网。安装 cnpm。为了加快国内用户...
- 产品推荐
- 这些文档可能帮助您