数据质量监控
其中：现场开发类表：可选择显示总数据表、未完成的数据表、已暂停开发的数据表或质量较差的数据表。同步专网和产品部署类表：可选择显示总数据表或质量较差的数据表；同时显示产出异常（任务停止和运行失败）的数据表数，您可通过设置...
MaxCompute数据访问权限控制
说明 同一个申请单提交的多张表权限申请，会按照表Owner的不同自动拆分成多个申请单。查看审批详情。单击目标申请 操作 列的 审批，您可以在 审批详情 对话框查看目标申请的 申请详情、审批记录 等详细信息。审批申请。根据申请的详细内容...
MaxCompute数据权限控制详情
DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射，来让被授予空间角色的RAM用户，拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限，但默认无生产权限，本文为您介绍预设角色权限基本情况、MaxCompute权限...
透视分析：按资源类型
表数量趋势：查看所选工作空间在指定时间段内的开发表、生产表或所有表的数量变化趋势。表存储分布：查看所选工作空间在指定日期内表的存储情况。表存储趋势：查看所选工作空间在指定时间段内的开发表、生产表或所有表的存储变化趋势。表...
创建并使用MaxCompute表
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
应用示例：数据开发过程触发事件检查
在DataWorks开放平台，成功注册、上线并启用扩展程序后，在该扩展程序所生效的工作空间中，使用页面部分功能（即触发扩展点事件）时，DataWorks...表变更事件的消息实体格式，详情请参见：表变更事件（提交表至开发环境、发布表至生产环境）。
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
数据地图概述
单表隐藏 您可以选择表状态为 隐藏：所有人都不可以通过搜索来访问到该表。仅项目：仅对表所在工作空间下用户可见（可搜索到）。显示：所有人都可以通过搜索访问到该表。说明 表owner和工作空间管理员默认不受上述权限控制。项目级别批量...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
步骤一：开发维度逻辑表
本文为您介绍如何基于本教程完成 产品维度逻辑表 和 客户维度逻辑表 开发。背景信息 完成产品维度逻辑表开发并提交后，还需完成客户维度逻辑表的开发并提交。本教程的产品维度逻辑表开发与客户维度逻辑表开发操作步骤相同，本文以开发 产品...
步骤一：开发维度逻辑表
本文为您介绍如何基于本教程完成 产品维度逻辑表 和 客户维度逻辑表 开发。背景信息 完成产品维度逻辑表开发并提交后，还需完成客户维度逻辑表的开发并提交。本教程的产品维度逻辑表开发与客户维度逻辑表开发操作步骤相同，本文以开发 产品...
创建并使用MaxCompute表
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
DataWorks On MaxCompute使用说明
节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
周期性调度作业概述
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
进入数据质量概览（新版）
数据质量概览为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，...
使用PyODPS节点进行结巴中文分词
在 将本地数据导入开发表 对话框，输入需要导入数据的测试表jieba_test并选中，单击 下一步。上传您下载至本地的jieba_test.csv文件，配置上传信息并预览数据，单击 下一步。选中 按名称匹配，单击 导入数据。创建PyODPS 3节点。右键单击...
搭建茶园监控应用概述
通过使用物联网应用开发（IoT Studio）平台的Web可视化开发和业务逻辑开发工具，开发一个茶园的环境监控大屏。应用用户可在监控大屏中，查看在指定时间内，设备上报的温度值折线图。设计思路 先在业务逻辑开发工作台，创建三个服务，分别是...
场景：MaxCompute引擎在不同模式工作空间访问资源与...
标准模式下，支持开发环境和生产环境隔离，开发环境和生产环境的数据库表命名有所区别，如果需要在开发环境访问生产环境的数据库表，请根据以下命名规范严格区分数据库表名，避免误操作生产环境。环境类型 标准模式 示例 开发环境 项目名_...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
服务条款
欢迎您申请试用云开发平台服务 在您申请试用阿里云云开发平台服务之前，请您仔细阅读 www.aliyun.com 网站上公布的相关规范、规则和使用流程以及阿里云云开发平台免费试用服务协议的全部内容，特别是免除或者限制责任的条款、争议解决和...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
审批负责人治理（Beta）
DataWorks为您提供了表和字段的权限申请、审批流程，审批负责人具有对应的审批权限。当审批负责人的云账号出现异常时，您需要及时对这些异常的审批负责人账号进行治理，减少审批流阻塞、规范审批流程。本文为您介绍如何在数据地图中查看及...
创建EMR表
本文为您介绍如何创建EMR（E-MapReduce）表。背景信息 绑定EMR引擎后，平台将自动在 数据地图 新建EMR元数据采集器来采集该集群元数据，若您绑定EMR引擎后仍无法在此界面选择到EMR库，请前往数据地图找到该集群的元数据采集器重新采集，...
表管理
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
查看公共表
DataWorks支持查看MaxCompute、AnalyticDB for PostgreSQL、Hologres和EMR公共表（同一租户下的生产表），您可以在公共表页面选择引擎类型和引擎名进行查看。前提条件 如果您需要查看MaxCompute公共表，请绑定MaxCompute计算引擎。详情请...
数据开发
本文从需求分析、规划业务流程、规划表管理、同步数据以及加工数据几方面，为您介绍数据开发。需求分析 将MySQL的数据采集到MaxCompute 贴源层表中，进行清洗和加工，产出最终的概览应用表。规划业务流程 业务流程是DataWorks针对业务实体...
开发获取温度数据的服务
前提条件 已完成以下操作：创建项目和产品 开发虚拟设备 使用云数据库创建数据表 说明 开发设备有不同的方法，用户可根据实际场景需要，选择相应的设备开发方法。本案例以开发虚拟设备为例。操作步骤 登录 物联网应用开发控制台，在页面...
新建开发环境场景并运行
您可以通过新建开发环境场景，并在开发环境场景画布中编排节点工作流、配置运行参数，来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建开发环境场景并运行。前提条件 已创建相关的云计算资源，具体操作，请参见 ...
运维中心入门
MaxCompute支持跨项目访问表（例如，访问绑定的其他引擎项目中的表、开发项目访问生产项目中的表），但部分引擎不支持。对应引擎类型是否支持跨项目访问表，请以引擎的实际特性功能为准。本文示例 result_table 节点所在生产环境的引擎项目...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
配置数据质量监控
2、配置监控规则 表ods_raw_log_d用于接收从OSS同步过来的网站访问记录，为用户画像分析场景源头表，所以为避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表该分区写入数据。当监控到ods_...
需求分析
用户基本信息表：ods_user_info_d 网站访问日志原始数据表：ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线...
文档修订记录
增强分析（卡片和报告）2023.08.04 新增功能 数据集成 以Kafka实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖 Kafka单表实时入湖OSS（HUDI）2023年7月更新记录 时间 特性 类别 描述 产品文档 2023.7.31 优化体验 数据服务 ...
ETL工作流快速体验
拉链表实现 DataWorks MaxCompute 数据开发 运维中心 基础版 基于DataWorks on MaxCompute实现拉链存储场景，使用DataStudio 数据开发 与 运维中心 模块，实现拉链数据加载功能，记录电商订单从开始到当前状态（创建/支付/完成）所有变化...
创建及管理内部表
HoloStudio的PG管理模块，支持使用可视化方式创建、查看以及删除内部表。本文为您介绍在HoloStudio中基于PG管理的内部表操作。前提条件 阿里云账号注册，详情请参见 阿里云账号注册流程。实名认证，详情请参见 个人实名认证 和 企业实名...
创建Hologres外部表
提交到开发环境 提交表至DataWorks的开发环境，即在开发环境所绑定的Hologres数据库创建当前表。提交后您可在DataWorks数据开发相应业务流程（即创建表时所选的路径）的Hologres目录，查看该表结构。从生产环境加载 用于从生产环境加载生产...
全景视角
数据生产视角：在数据开发场景下，建议您使用数据生产视角，关注查看数据开发过程中表、开发任务、数据服务、数据质量等方面的情况。详情请参见：数据生产视角。说明 您当前登录的账号需要拥有 AliyunDataWorksFullAccess 权限，才能使用 ...
创建Hologres内部表
说明 仅Hologres V0.9及以上版本支持单表级别的Binlog功能。Binlog的更多介绍，详情请参见 订阅Hologres Binlog。配置业务信息。说明 表的业务信息，仅是基于业务需求方便管理表使用，不涉及底层逻辑的实现。参数 描述 主题 表所属的一级...
操作权限控制
任务执行环境 实时场景 数据开发执行任务（开发环境执行任务）场景一：select col1 from tablename 用个人账号访问开发环境下该表。即用个人账号访问：projectname_dev.tablename。场景二：select col1 from projectname.tablename 用个人...
- 产品推荐
- 这些文档可能帮助您