查看数据开发操作记录
在数据开发DataStudio界面中，您可在 操作历史 界面通过操作类型、操作人、操作时间进行筛选，查看人员在当前工作空间中的操作记录。使用说明 仅支持查看DataStudio中以下几类操作记录：任务责任人变更操作、任务调度属性变更操作、任务及...
查看敏感数据血缘（公测）
提升数据识别效率 敏感数据自动识别任务可基于敏感字段血缘关系，将其中敏感字段类型相同的血缘关系进行识别结果扩散，极大提高识别效率。异常血缘关系分析 关联关系异常的字段分析 系统根据敏感字段的血缘关系，自动分析字段之间的异常...
数据总览
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下所有的引擎资源。以...
可视化弹性成本分析
本文为您介绍如何查看弹性成本可视化大盘。前提条件 已根据控制台提示授权EMR服务角色AliyunEMRManagedCostRole。首次使用成本分析功能时，需要使用阿里云账号授权该角色。已创建按量付费或抢占式实例的Task节点组，具体操作请参见 添加...
执行测试并查看测试实例
说明 此处仅支持查看监控任务运行状态的规则关联详情，不支持查看数据质量监控规则。基线监控：您可以查看当前实例关联的基线情况，支持您单击右侧的 新建 快速创建基线，详情请参见 基线管理。上下文 为您展示当前任务的所有输入参数和...
使用Logview查看作业运行信息
在每个Task中都可以看到如下输出：output records:R2_1_Stg1:199998999(min:22552459,max:177446540,avg:99999499)此处如果min和max值相差较大，不在一个数量级，说明在这一阶段出现了数据倾斜。例如在执行字段Join时，某个字段中有一个值...
离线同步日志分析
运行日志入口详情请参见 查看周期实例、执行补数据并查看补数据实例、执行测试并查看测试实例。DataStudio界面 您可以在 运行历史 页面查看任务3天内的执行日志。查看离线同步日志 下图为任务的执行过程中的简单日志信息。您也可以单击图中...
处理治理项问题
在 治理项问题 页面，您可以通过 全局视角、个人视角 或 工作空间视角，查看当前登录账号或指定工作空间的可优化项的数量、类别，以及存在该类问题的任务或表详情等信息，针对不同问题DataWorks的数据治理中心为您提供了相应的解决方案，您...
PyODPS查看一级分区
在PyODPS 2节点中输入如下代码查看一级分区数据。import sys reload(sys)#修改系统默认编码。sys.setdefaultencoding('utf8')#异步方式读取一级分区。instance=o.run_sql('select*from user_detail WHERE dt=\'20190715\'')instance.wait_...
处理检查项事件
您可以选择使用DataWorks数据治理中心提供的 全局视角、工作空间视角 或 个人视角 等不同视角来查看检查项事件明细列表。使用限制 仅阿里云主账号和授予 AliyunDataWorksFullAccess 权限的RAM用户可以使用 全局视角 查看检查项事件。如果您...
创建和查看DataWorks导出任务
迁移助手支持导出周期任务、手动任务、资源、函数、表元数据、数据源、组件、临时查询、数据服务和数据质量等对象，本文为您介绍如何创建和查看导出任务。背景信息 迁移助手支持通过 全量导出、增量导出 和 自选导出 等方式导出任务。不同...
查看并管理周期任务
补数据：用于对周期任务执行补历史数据或未来时间段数据的操作，执行补数据操作后将产生补数据实例，您可以通过 补数据实例 页面查看此次补数据任务的运行情况，详情请参见 执行补数据并查看补数据实例。更多：暂停（冻结）：当任务及其...
查看公共表
DataWorks支持查看MaxCompute、AnalyticDB for PostgreSQL、Hologres和EMR公共表（同一租户下的生产表），您可以在公共表页面选择引擎类型和引擎名进行查看。前提条件 如果您需要查看MaxCompute公共表，请绑定MaxCompute计算引擎。详情请...
创建和查看DataWorks导入任务
进入迁移助手 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>更多>迁移助手，进入迁移助手 首页。使用限制 当前不同版本的...
成本分析
数据搜索 支持查看最近12个月的数据，不过数据从2023年05月07日开始记录，即只能搜索查看2023年05月07日及以后的数据。登录 MaxCompute控制台，在左上角选择地域。在左侧导航栏，选择 成本管理>成本分析。在 成本分析 页面，选择 账期。...
执行补数据并查看补数据实例（新版）
管理补数据实例 补数据任务启动后，会生成相应的补数据实例，您可在补数据列表查看实例的基本信息及运行详情，并按需执行 终止、重跑、复用 等管理操作。区域 描述 1 单击 展开搜索，可通过 补数据名称、运行状态、节点类型 等条件筛选需要...
透视分析：按资源类型
支持您按照资源类型（计算资源和存储资源）查看和分析工作空间内的资源占用情况，为合理使用整体资源做辅助判断。本文为您介绍如何查看计算与存储资源使用概况。使用限制 仅阿里云主账号和拥有 AliyunDataWorksFullAccess 权限的RAM用户...
SET操作
MaxCompute支持在Session级设置MaxCompute系统变量，本文为您介绍如何设置及查看MaxCompute系统变量，影响MaxCompute的行为。set操作相关命令如下。类型 功能 角色 操作入口 set 对当前Session设置MaxCompute系统变量。具备项目空间操作...
Query Profile介绍
说明 Operator花费的时间比例越大，其对应颜色就越深（支持对执行耗时排名前三的节点标注颜色）。您可以借此轻松确认查询的瓶颈。通过鼠标滚动，或单击 放大 和 缩小 按钮，可以放大和缩小Profile树。重要指标 Query级别 Summary指标 指标 ...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
监控
查看Zookeeper服务和ClickHouse服务的监控数据。在Dashboard中选择 ZOOKEEPER 服务。在Dashboard中选择 CLICKHOUSE 服务。ClickHouse的监控指标分为3组，分别来自ClickHouse的三个系统表metrics、events和asynchronous_metrics。查看节点...
查看集群信息
本文为您介绍如何查看您账号下拥有的集群概况。前提条件 已在E-MapReduce上创建on ACK的集群，创建详情请参见 快速入门。查看集群列表 登录 EMR on...数据湖构建(DLF)显示DLF是否启用的状态。默认是未启用。如果需要启用，可以单击 点击启用。
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
账单数据订阅及查询分析
在 成本分析>更多分析工具 单击 查看详情，进入大数据分析页面。开通分析工具。根据界面指引，开通MaxCompute及DataWorks，并完成相关授权及分析环境的准备工作。具体如下：选择开通分析工具的地域。所选地域需已开通DataWorks及MaxCompute...
查看监控报表
通过EMR Serverless StarRocks提供的监控报表功能，您可以实时获取并查看实例的运行状态及各项关键性能指标，从而实现快速问题定位。使用限制 仅保存最近30天内的报表数据，超出此期限的数据将不再保留。操作步骤 进入EMR Serverless ...
审批负责人治理（Beta）
本文为您介绍如何在数据地图中查看及治理表的异常审批负责人。试用限制 审批负责人治理为Beta版功能，欢迎试用及反馈。目前仅支持对MaxCompute类型的表进行审批责任人治理。进入审批负责人治理 登录 DataWorks控制台，切换至目标地域后，...
查看数据元详情
通过查看数据元详情，您可查看数据元的基本信息以及值域设置、引用的数据字典、关联字段以及操作日志等详细信息。本文介绍如何查看数据元详情。前提条件 已存在数据元，具体操作，请参见 新建数据元 或者 导入数据元。操作步骤 登录 数据...
查看数据元详情
通过查看数据元详情，您可查看数据元的基本信息以及值域设置、引用的数据字典、关联字段以及操作日志等详细信息。本文介绍如何查看数据元详情。前提条件 已存在数据元，具体操作，请参见 新建数据元 或者 导入数据元。操作步骤 登录企业...
配置并管理实时同步任务
本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制...
管理日志
使用限制 本文操作仅适用于数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、...
DataStudio侧实时同步任务配置
本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据...
查看弹性伸缩活动
在该页面您可以查看以下信息：弹性活动数据图表 图表名称 说明 集群总览 查看所选时间段内集群每小时运行的节点数量和核数变化情况。集群实例各付费类型数量分布 查看所选时间段内集群每小时按量付费和抢占式实例的节点数量和核数的变化...
ListReleaseVersions-查询版本
查看EMR发布主板本。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
提交作业和查看作业信息
本文为您介绍如何提交作业和查看作业信息。前提条件 已登录集群，详情请参见 登录集群。...如果需要查看更长周期内的统计信息，可以设置“spark.sql.streaming.numRecentProgressUpdates”为更大值，但会占用更多的内存。
ListApiTemplates-查看API模板列表
查看API模板列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 RegionId...
配置并管理实时同步任务
本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制...
查看数据字典详情
通过查看数据字典详情信息，可以查看数据字典的编码、值编码和关联数据元等信息。本文介绍如何查看数据字典详情。前提条件 已存在数据字典，具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录 数据资源平台控制台。在页面左上...
查看数据字典详情
通过查看数据字典详情信息，可以查看数据字典的编码、值编码和关联数据元等信息。本文介绍如何查看数据字典详情。前提条件 已存在数据字典，具体操作，请参见 新建数据字典 和 导入数据字典。操作步骤 登录企业数据智能平台。在页面左上角...
查看伸缩组
调用ListScalingGroupV2，查看伸缩组列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
- 产品推荐
- 这些文档可能帮助您