监控指标常见问题
查看运行时间较长的query SELECT current_timestamp-query_start as runtime,datname:text,usename,query,pid:text FROM pg_stat_activity WHERE state!'idle' order by 1 desc;superuser取消query执行 select pg_cancel_backend();情况三...
建立性能基准
测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行时间 无 查询费用预估 无 记录数据同步时间 在您执行数据同步任务后，可以在 运维中心>周期实例 页面右键查看用户任务运行时间，如下图所示。记录占用存储大小 登录 DataWorks控制...
建立性能基准
测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行时间 无 查询费用预估 无 记录数据同步时间 在您执行数据同步任务后，可以在 运维中心>周期实例 页面右键查看用户任务运行时间，如下图所示。记录占用存储大小 登录 DataWorks控制...
查看调度资源大盘
调度资源大盘展示Dataphin集群已配置调度资源的使用及分配情况。您可以查看并分析全局资源总量配置及单个任务资源分配的情况，可以有效地提升资源利用率并降低成本，...您可以通过该趋势图直观的查看任务运行时间范围内的资源分配消耗情况。
查看作业运行状态
计算引擎作业提交成功后，您可以通过SparkUI界面或者HDFS Shell工具查看作业运行状态。前提条件 已开通 云原生多模数据库 Lindorm 实例的计算引擎服务，具体操作请参见 开通与变配。已将客户端IP地址添加至 云原生多模数据库 Lindorm 实例...
Dataphin中为什么会出现下游节点任务...节点运行时间早
问题描述 Dataphin中为什么会出现下游节点任务运行结束时间比其上游节点运行时间早？比如以下问题：上游节点是逻辑表dim_org，解析之后，生成两个物化表，分别于2021-11-19 03:11:16、2021-11-19 03:44:29分运行结束。下游节点是代码任务，...
必读：复杂依赖场景调度配置原则与示例
序号 描述 相关文档 1 DataWorks支持多种调度类型（即分钟、小时、天、周、月、年），当上下游调度类型不一致时，DataWorks根据任务定时运行时间的就近原则设置调度依赖。说明 小时任务依赖小时任务，当天的周期数一致时，不符合该原则，即...
变量
例如当前任务流ID、任务流的运行时间等。说明 除系统变量外，其他变量统称为自定义变量，自定义变量名不可重复定义，若自定义变量和系统变量重名，则自定义变量的值会覆盖系统变量的值，即自定义变量的优先级更高。时间变量 任务流变量...
性能测试工具-Shell
cd AHBench./fast_test 完整测试集 测试数据量20亿，整体运行时间大约25小时（视被测HBase系统可能有变化），至少需要总存储空间2 TB。cd AHBench./full_test 若要重复进行该测试，可以通过跳过数据导入阶段（上一次测试已成功运行），减少...
物品或用户变化率分析
周期运行选择 是 时，会对物品或用户变化率分析数据诊断任务的 周期运行时间 进行选择，选择每天运行的时间点击 保存 即可。二、诊断报告 物品或用户变化率分析报告，展示了物品或用户在一段时间内的增加数量与减少数量，和增加率与减少率...
任务调试流程
任务代码开发完成后，您可根据需要，通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性，并在调试完成后查看运行结果。本文为您介绍任务调试的相关内容。前提条件 已完成任务开发，详情请参见 数据开发概述。背景信息 您...
查询时序表描述信息
查看时间线表的TTL配置。System.out.println(tableMeta.getTimeseriesMetaOptions().getMetaTimeToLive());查看是否允许更新时间线属性列。System.out.println(tableMeta.getTimeseriesMetaOptions().getAllowUpdateAttributes());如果为...
应用场景
阿里云游戏平台面向游戏开发商、游戏运营商、通信运营商、视频网站等泛游戏客户提供不同客户场景的服务，助力客户能力升级。游戏开发商 背景 随着游戏内容和玩法丰富度的提高，游戏开发成本越来越高，尤其当游戏需要支持跨端运行时，开发...
设计阶段
如果出现出错、变慢（运行时间明显长于历史过往平均运行时间）等可能影响最终任务完成时间的事件，则应第一时间推送报警给第一任务责任人。设置优先级：基于有限的计算资源来设置任务优先级，以保证在已有资源被充分调配利用的情况下，可以...
使用ANALYZE收集统计信息
选择生成统计信息 不带参数运行ANALYZE会为数据库中所有的表更新统计信息，运行时间可能会很长。用户可以指定表名或者列名来指定收集单个表或者某些列的统计信息。当数据被改变时，应该有选择地ANALYZE表。在大表上运行ANALYZE可能需要很长...
时序表操作
时序模型通过时序表存储时间序列数据，单表能提供高并发写入和查询以及PB级海量数据的低成本存储。创建时序表时，您可以配置数据生命周期 和为时序表创建分析存储。创建时序表后，您可以根据实际管理时序表，例如获取实例中的所有时序表...
管理时间同步服务
查看时间同步服务器地址确认是否需要修改。如果您的业务要求配置指定的时间同步服务器，可以参考 配置NTP服务器地址。查看时间同步服务状态确认是否需要修改配置 查看ECS实例中使用的时间同步服务 您可以执行以下命令查看ECS实例中已使用的...
引用物理表质量规则
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理表监控明细查看运行结果。本文介绍如何引用逻辑表质量规则。前提条件 已搭建算法流程，具体操作，请参见 新建开发环境场景并部署运行。算法...
项目角色管理
查看（查看模型视图/列表视图/表属性/历史信息/版本详情/版本对比）原子指标-查看（查看模型视图/列表视图/表属性/历史信息/版本详情/版本对比）业务限定-查看（查看模型视图/列表视图/表属性/历史信息/版本详情/版本对比）派生指标-查看...
项目角色管理
查看（查看模型视图/列表视图/表属性/历史信息/版本详情/版本对比）原子指标-查看（查看模型视图/列表视图/表属性/历史信息/版本详情/版本对比）业务限定-查看（查看模型视图/列表视图/表属性/历史信息/版本详情/版本对比）派生指标-查看...
引用物理表质量规则
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理表监控明细查看运行结果。本文介绍如何引用逻辑表质量规则。前提条件 已搭建算法流程，具体操作，请参见 新建开发环境场景并部署运行。算法...
通过SDK使用时序模型
通过SDK创建时序表后，您可以写入时序数据并对时间线进行检索以及查询时序数据。前提条件 已创建时序模型实例。具体操作，请参见 创建时序模型实例。已初始化TimeseriesClient。具体操作，请参见 初始化OTSClient。注意事项 时序模型功能将...
PyODPS节点实现结巴中文分词
本文为您介绍如何使用DataWorks的PyODPS类型节点，结合开源结巴中文分词库，对数据表中的中文字段进行分词处理并写入新的数据表，以及如何通过闭包函数使用自定义词典进行分词。前提条件 已创建DataWorks工作空间并绑定了MaxCompute计算...
通用开发流程
创建及使用表：创建并使用MaxCompute表 创建Hologres内部表 创建Hologres外部表 创建EMR表 创建AnalyticDB for PostgreSQL表 查看及管理表：查看公共表 管理外部表 表管理操作 步骤三：新建并上传资源（可选）DataWorks支持将文本文件、JAR...
使用PyODPS节点进行结巴中文分词
运行完成后，您可通过如下方式查看结巴分词程序的运行结果：方式一：在页面下方的 运行日志 区域查看。方式二：在页面左侧单击 临时查询 按钮，创建一个临时查询节点，查看测试结果表 jieba_result 中的结果数据。select*from jieba_result...
新建开发环境场景并运行
您可以通过新建开发环境场景，并在开发环境场景画布中编排节点工作流、配置运行参数，来验证数据处理流程的正确性。本文以MaxCompute节点搭建流程为例介绍如何新建开发环境场景并运行。前提条件 已创建相关的云计算资源，具体操作，请参见 ...
SQL查询
查询结果操作 SQL执行完成后，您可在查询结果页面查看运行日志、查看运行结果、查看查询结果对应的SQL内容等，还支持您使用折线图、柱状图、条形图、饼图、交叉表等对查询结果进行可视化展现。管理SQL查询目录 在SQL查询页面，您可以统一...
参考：渐进式计算
说明 由于范围查询场景在第一次使用渐进式计算时，需要计算出每一天的中间结果，因此部分作业的运行时间会比普通模式还要长，建议用户先手动在渐进式计算模式下运行一次，以免在基线时段第一次运行影响结果产出时间。由于渐进式计算会存储...
Linux时间和时区说明
背景信息 Linux操作系统中时间和时区相关的基本概念如下表所述：基本概念 说明 时钟 Linux时钟分为以下两种：硬件时钟（Real Time Clock，简称RTC）：由物理层面的主板上电池供电的时钟，该硬件时钟可以在Linux的BIOS（Basic Input Output ...
查看监控信息
单击某个监控指标趋势图中的 详情，放大该监控指标的趋势图，并且可以修改时间查看该监控指标不同时间的变化趋势。在 自定义视图 页签，单击 新增监控大盘，通过自定义监控大盘，查看需要进行监控的指标趋势。单击 添加节点和指标监控，为...
元数据仓库共享模型（Hadoop）
Dataphin元数据仓库目录 分类 二级分类 表名称 表中文名称 对应通信表 规范建模 规划 dim_dataphin_biz_unit 业务板块表 data_share_finish dim_dataphin_data_domain 数据域表 dim_dataphin_time_period 统计周期表 建模 dim_dataphin_...
元数据仓库共享模型（MaxCompute）
元数据仓库目录 分类 二级分类 表名称 表中文名称 对应通信表 规范建模 规划 dim_dataphin_biz_unit 业务板块表 data_share_finish dim_dataphin_data_domain 数据域表 dim_dataphin_time_period 统计周期表 建模 dim_dataphin_dimension ...
表实用程序命令
运行vacuum后，无法再按时间顺序查看在保留期之前创建的版本。SQL%sql VACUUM eventsTable-vacuum files not required by versions older than the default retention period VACUUM '/data/events'-vacuum files in path-based table ...
查看算法实例运行日志
配置算法实例完成后，您可以查看实例运行状态。如果因为资源不足造成任务运行失败，或者数据不完备造成错误，您可以查看运行日志定位具体问题，进行实例运维。前提条件 已完成算法...选择算法检测的时间范围，查看算法运行日志的详细信息。
查看实例统计
运行详情支持选择按 业务日期、定时运行时间、运行日期，查看统计数据。定时运行时间：任务的起调时间。您可选择日期范围，默认为当天。运行日期：任务的开始运行时间。您可选择业务日期范围，默认为当天。未运行 和 等待中 的实例将不统计...
查看实例统计
运行详情支持选择按 业务日期、定时运行时间、运行日期，查看统计数据。定时运行时间：任务的起调时间。您可选择日期范围，默认为当天。运行日期：任务的开始运行时间。您可选择业务日期范围，默认为当天。未运行 和 等待中 的实例将不统计...
查询任务日志
数据传输服务DTS（Data Transmission Service）支持在任务日志页签查看任务时间轴和运行日志信息。任务时间轴以时间线的维度展示购买、配置、运行、故障、运行完成等关键节点的任务状态信息；运行日志可根据时间范围或任务的状态信息进行...
SQL窗口
您可以在页面的 表目录 列表中选择目标表，查看对应表的字段名和类型。您也可以在SQL编辑区域使用标准的PostgreSQL语言进行开发。说明 SQL查询对表名称和字段名称的大小写不敏感。如果您需要精确查询名称大小写完全一致的表，则需要使用双...
数据血缘
数据血缘可以用于查看表和表、字段和字段之间的血缘关系，从而辅助业务进行数据的溯源和管理，在作业异常时也可以帮助业务分析上下游作业影响。Hologres与DataWorks深度集成，您可以通过DataWorks的数据地图模块实现Hologres的数据血缘管理...
查看任务日志
通过任务日志，您可以查看任务时间轴和运行日志信息。任务时间轴以时间线的维度展示购买、配置、运行、故障、运行完成等关键节点的任务状态信息；运行日志可根据时间范围或任务的状态信息进行筛选，以便快速定位所需的日志信息。操作步骤 ...
- 产品推荐
- 这些文档可能帮助您