大数据城市运行-大数据城市运行文档介绍内容-阿里云

实时同步任务延迟解决方案

用于帮助您判断数据同步延迟的瓶颈方，当数据同步发生延迟时，指标数据较大的一般为瓶颈方。确认造成延迟问题的系统是否有异常当确认了延迟瓶颈是在同步任务的读端还是写端后，可在上述任务运行详情中切换至日志页签，使用 Error/...

功能简介

数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...

RestAPI Reader最佳实践

数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...

新功能发布记录

2021-12-21 模型查看器 v6.0 DataV发布全新V6.0版本发布五大新功能适用用户：数据集及BI映射：企业版及以上用户区块管理：专业版及以上用户设计资产：企业版及以上用户空间构建平台：需线下咨询购买数据映射系统；BI分析功能帮助用户...

DataWorks on EMR数据安全方案

在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

通过DTS导入数据

DTS支持迁移全量数据及增量数据，您可以通过DTS迁移MySQL数据库（例如自建MySQL、RDS MySQL和PolarDB MySQL）同步或迁移至云数据库 SelectDB 版，并在云数据库 SelectDB 版上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...

基本概念

地理系统 TwinFabric数字孪生系统支持常见的地理信息系统数据源接入，满足实景三维中国建设技术大纲中部分地形级实景三维、城市级实景三维、部件级实景三维数据源的接入，支持基于球面、平面三维场景搭建与地理信息多源数据的融合与开发。...

名词解释

实例（Instance）实例整合了数据接入、视频分析、图像搜索三大功能组件。实例的计算分析性能和适用业务场景由实例规格决定，具体指可分析的视频路数。接流工作组（WorkGroup）接流工作组负责从第三方视频推流平台接入视频点位数据或使用离...

规格说明

在实现上您可以将DataV开发的页面整个打包下载，安装部署到企业内网中运行，整个部署均在线下完成，数据完全隔离，保障了数据的安全性，同时尊享版共提供100台服务器的部署授权（不包含硬件），保障产品更好地在企业内网中运行。...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...

导入概述

为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...

DataWorks On EMR使用说明

数据同步的同步资源费用 运行数据同步任务时，除调度资源外，还需使用数据同步资源。您需按需购买数据同步所需的包年包月的独享数据集成资源组，支付相应的资源组费用。二、非DataWorks相关费用以下费用不会体现在DataWorks产品相关账单中...

规划工作空间

运维大屏：工作空间间隔离，运维大屏显示工作空间内任务运行的汇总数据，任务运行情况一览便知。智能监控：在工作空间间打通，智能监控可以设定跨工作空间的监控基线。仅阿里云主账号、工作空间管理员具备创建智能监控基线的权限。数据地图...

导入概述

为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...

功能特性

EMR on ECS 功能集功能功能描述参考文档集群管理创建集群您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群释放集群在完成EMR集群任务后及时释放集群，可以释放资源...

任务中心

任务中心对数据资源平台中的数据同步、数据开发、标签加工等任务和实例进行运维管理。数据资源平台各模块发起的任务，如数据同步、数据开发、标签加工等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务流程，任务流中...

概述

任务中心对数据资源平台中的数据同步、数据开发、标签同步、质量评估等任务和实例进行运维管理。数据资源平台各模块发起的任务，如数据同步、数据开发、标签加工等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务...

概述

任务中心对企业数据智能平台中的数据同步、数据开发、标签同步、质量评估等任务和实例进行运维管理。企业数据智能平台各模块发起的任务，如数据同步、数据开发、标签加工等，都会发到对应的任务流，不同的任务来源通过业务类型区分。...

运行配置

您可根据租户类型和业务场景为不同的租户配置运行实例的超时时间和运行任务失败时的重跑策略，杜绝因运行实例长时间资源占用造成资源浪费的同时提高运行实例的可靠性。本文将为您介绍如何进行运行配置。生效范围运行配置所设置的策略仅...

运行配置

您可根据租户类型和业务场景为不同的租户配置运行实例的超时时间和运行任务失败时的重跑策略，杜绝因运行实例长时间资源占用造成资源浪费的同时提高运行实例的可靠性。本文将为您介绍如何进行运行配置。生效范围运行配置所设置的策略仅...

DataWorks模块使用说明

使用流程概览：参考文档：数据开发概述子模块：运维中心功能说明：运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出时间不可...

计算任务运行配置

您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤请参见离线...

计算任务运行配置

您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤请参见离线...

逻辑表运行配置

您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置逻辑表运行设置。操作步骤请参见数据开发入口，...

逻辑表运行配置

您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置逻辑表运行设置。操作步骤在Dataphin首页，单击...

离线管道任务运行配置

您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤请参见离线...

离线管道任务运行配置

您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤请参见离线...

PyODPS概述

整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用DataWorks节点的用户来说，很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...

补数据实例运维概述

周期性定时运行补数据任务：将在定时运行时间的前一天23点生成待生成实例，到达定时运行时间时将生成补数据实例并调度运行。手动运行补数据任务：将立即生成补数据实例并调度运行。补数据实例入口在Dataphin首页，单击顶部菜单栏研发。...

补数据实例运维概述

周期性定时运行补数据任务：将在定时运行时间的前一天23点生成待生成实例，到达定时运行时间时将生成补数据实例并调度运行。手动运行补数据任务：将立即生成补数据实例并调度运行。补数据实例入口在Dataphin首页，单击顶部菜单栏研发。...

周期任务补数据

周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...

周期任务补数据

周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...