明细汇总表任务是Dataphin针对规范建模创建的逻辑表(维度逻辑表、事实逻辑表、汇总逻辑表)任务提供的字段视角运维功能,本文为您介绍如何查看并管理明细汇总表任务。背景信息 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总...
云数据库 OceanBase 的计划内运维事件(如实例迁移、版本升级等)除了会通过短信、语音、邮件或站内信通知用户,还会在产品控制台上进行通知。您可在计划内事件中,查看具体的实例名称、事件原因、执行状态、是否可取消等信息,也可手动...
运维监控统计数据可帮助您查看最近某段时间的API运维数据,以便您更好的调整API,合理优化资源。本文为您介绍如何自定义运维监控配置。权限说明 超级管理员支持修改系统配置。数据服务系统配置入口 在Dataphin首页,单击顶部菜单栏 服务。...
功能模块 操作风险等级 操作影响 相关任务 删除数据源前的处理方案 运维中心 高 导致相关任务运行失败。周期计算任务 手动计算任务 周期数据集成任务 手动数据集成任务 实时数据集成任务 通过 批量操作 修改任务归属数据源,并重新提交、...
堡垒机 支持对MySQL、SQL Server、PostgreSQL类型的RDS和MySQL、PostgreSQL、PostgreSQL(兼容Oracle)的PolarDB以及MySQL、SQL Server、PostgreSQL、Oracle类型的自建数据库进行运维和审计,同时运维人员可开启SSH隧道,使用运维令牌进行...
本文介绍数据库自治服务DAS助力捷顺,实现数据库运维自动化。客户简介 捷顺科技是一家智慧停车、智慧社区综合服务提供商,集研、产、销于一体,公司的产品线涵盖各类软硬件产品,包括捷停车及捷生活APP、停车场智能硬件、智能门禁、通道闸...
步骤三:基于MaxCompute实时分析Hadoop集群数据 基于已创建的MaxCompute项目以及Hadoop集群表数据,创建External Project,用于Hadoop集群,并映射至已创建的MaxCompute项目。后续可通过映射的MaxCompute项目对External Project进行数据...
您可以在 系统运维管理(简称OOS)中配置 定期运维 任务,在业务低峰期,扫描(SCAN)所有Key并立即删除已过期的Key,释放内存占用。背景信息 Tair/Redis为保障读写性能,其删除逻辑为异步删除。当数据过期后,Tair/Redis不会立即删除已...
数据归档 数据归档功能定时将大表的数据归档至其他数据库,支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求,订阅不同功能模块的消息事件,...
云上计算云下数据:HDFS缓存加速 云上计算云下数据:HDFS缓存加速 2021-06-29 随着云计算越来越成熟,带来弹性扩容、运维方便、节省成本等优点,越来越多企业开始将大数据平台搬到云上。云下的HDFS集群存在历史数据,其中可能包含敏感数据...
您可以在 系统运维管理(简称OOS)中配置 定期运维 任务,在业务低峰期,扫描(SCAN)所有Key并立即删除已过期的Key,释放内存占用。背景信息 Redis 为保障读写性能,其删除逻辑为异步删除。当数据过期后,Redis 不会立即删除已过期的数据...
您可以在 系统运维管理(简称OOS)中配置 定期运维 任务,在业务低峰期,扫描(SCAN)所有Key并立即删除已过期的Key,释放内存占用。背景信息 Tair 为保障读写性能,其删除逻辑为异步删除。当数据过期后,Tair 不会立即删除已过期的数据,...
数据定义语言DDL(Data Definition Language):对数据库中资源进行定义、修改和删除,如新建表和删除表等。数据操作语言DML(Data Manipulation Language):用以改变数据库中存储的数据内容,即增加、修改和删除数据。数据查询语言DQL...
功能说明 日志服务移动运维监控提供如下功能:功能 说明 数据接入 接入Android应用监控数据到移动运维监控服务。更多信息,请参见 接入Android App监控数据。接入iOS应用监控数据到移动运维监控服务。更多信息,请参见 接入iOS App监控数据...
运维人员每次通过堡垒机进行运维,会话结束后都会生成一个会话记录运维操作。审计人员可以通过会话,查看运维人员在运维中是否存在违规操作。操作步骤 登录堡垒机系统。具体操作,请参见 登录系统。在左侧导航栏,选择 运维审计>会话审计。...
通过自定义统计,您可以将数据服务的数据指标可视化展示。本文为您介绍如何配置和查看自定义统计。前提条件 已开启自定义统计服务。具体操作,请参见 开启和关闭运维统计。背景信息 对于新购买的企业版实例,运维统计服务默认关闭,需您...
运维 PolarDB提供了一组函数,用于对全局临时表进行日常的运维工作。polar_gtt_attached_pid用于查看一个全局临时表正在被哪些会话使用。您可以使用该函数结合其他函数进行运维工作。polar_gtt_att_statistic用于查看对应一张全局临时表列...
运维 PolarDB提供了一组函数,用于对全局临时表进行日常的运维工作。polar_gtt_attached_pid用于查看一个全局临时表正在被哪些会话使用。您可以使用该函数结合其他函数进行运维工作。polar_gtt_att_statistic用于查看对应一张全局临时表列...
运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块,您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 全局视角管控:Dataphin运维中心支持离线实例和实时实例的实例统计。异常统计情况,包括...
运维中心分开发运维中心和生产运维中心,生产运维中心承担生产调度任务的整体运维管控。DataWorks各模块的通用功能:说明 本文以DataStudio界面为例,为您讲解如下通用功能,其他模块对应界面,该类功能相同。消息中心():用于发送产品侧...
hive.metastore.warehouse.dir 表数据存放的路径。无。fs.defaultFS 表数据默认存放的文件系统。如果是写OSS-HDFS,请确保该值为目标Bucket对应HDFS服务的域名,例如 oss:/oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/ 。将以下配置...
数据服务总览、个人工作台、运维管理和平台管理模块中四种角色的具体权限说明:数据服务总览 个人工作台 运维管理 平台管理 数据服务总览 权限点 服务项目管理员 开发用户 业务应用用户 运维用户 查看API服务列表 Y Y Y Y 查看API文档 Y Y ...
管理员在堡垒机管理页面创建堡垒机用户后,运维员即可通过该用户登录堡垒机访问已授权的主机或数据库资产。用户类型 堡垒机支持导入阿里云RAM用户、新建堡垒机本地用户或导入AD/LDAP/IDaaS认证用户,以作为堡垒机的运维员。重要 IDaaS用户...
运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块,您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 全局视角管控:Dataphin运维中心支持离线实例和实时实例的实例统计。异常统计情况,包括...
本文将详细阐述如何将您已有的旧版数据湖集群(Hadoop),高效地迁移至数据湖集群(DataLake),以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式,并针对这些因素,提供适应新集群的迁移策略...
您可以通过查看数据处理任务运维信息,快速定位任务失败的原因。本文以倾斜数据处理后为例,介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择...
角色 包括租户管理员、租户访客、租户数据资产管理员、租户运维人员和租户一般用户。说明 租户管理员:拥有租户内的最大权限。租户访客:拥有租户的读取的权限,比如读取云计算资源。租户数据资产管理员:拥有租户内的资产数据管理权限,...
本文介绍如何通过AI运维控制台管理数据集。前提条件 已安装配置AI运维控制台组件。具体操作,请参见 安装云原生AI套件。已获取AI运维控制台管理员账号和密码。基于现有PVC创建加速数据集 用管理员账号登录AI运维控制台。在AI运维控制台左侧...
背景信息 本文仅说明全增量同步任务常见的运维操作,全增量同步任务产生的实时同步子任务运维操作请参见:实时同步任务运维;离线子任务运维操作参考:离线同步任务运维。管理全增量同步任务 任务配置完成后,您可以在 数据集成>同步任务 ...
支持对接RDS及自建的数据库运维。更多信息,请参见 数据库管理。更多关于堡垒机基础版和企业双擎版版本功能特性区别,请参见 功能特性。如何查询已购买的堡垒机实例?堡垒机实例购买完成后,您可以访问 云盾堡垒机控制台,按照下图指引,在...
控制台提供丰富的数据管理和运维功能,操作简单便捷,让您轻松完成日常数据管控和运维。专业运维支持 TSDB 的研发团队具备全球一流的数据库专家,提供专业技术支持。说明 加入我们的专家服务群(搜索钉钉群号『35977898』),进行技术交流...
本文介绍在任务编排运维中心如何编辑任务流、查看任务流的执行耗时和运行信息、控制任务流中执行的SQL数量等内容。进入任务编排运维中心 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 运维管理>任务编排运维中心。说明 若您使用的是极简...
改表数据 改表结构 项目的物理表-改表结构 删除表 项目的物理表-删除 逻辑表 查表数据 项目内逻辑表(本项目汇总表的指标)、逻辑视图的查询权限 实时元表 查表数据 实时元表-查表数据 改表数据 实时元表-改表数据 镜像表 查表数据 镜像表-...
改表数据 改表结构 项目的物理表-改表结构 删除表 项目的物理表-删除 逻辑表 查表数据 项目内逻辑表(本项目汇总表的指标)、逻辑视图的查询权限 实时元表 查表数据 实时元表-查表数据 改表数据 实时元表-改表数据 镜像表 查表数据 镜像表-...
外部项目无法被独立创建和使用,需要配合数据湖集成,用以实现访问和管理Hadoop集群Hive数据库中的表数据,或数据湖构建DLF中的表数据。详情参见 MaxCompute湖仓一体。外部项目本身没有执行作业的权限,需要关联到MaxCompute项目,通过...
使用说明 离线同步任务的运维操作与其他离线调度任务操作一致,本文仅以离线同步典型运维操作为例进行说明,更多关于离线调度任务的运维操作,详情请参见:周期任务运维概述。为确保周期调度的离线同步任务运行无误,请在任务发布完成后,...
允许运维申请。接口说明 本接口用于管理员审批允许运维员的运维申请。本接口的单用户 QPS 限制为 10 次/秒。超过限制,API 调用会被限流,这可能会影响您的业务,请合理调用。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算...
您可在运维中心查看发布至生产环境的任务,并执行测试、补数据等相关运维操作。本文以周期调度任务的运维为例,通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则,保障任务后续可以正常调度,...
高(需要较长时间搭建、配置、运维、学习)低(即开即用、零运维成本)安全、多租户 基于 Kerberos&Ranger,较为复杂 支持数据库模式库、表授权模式,多租户 功能 开源功能,缺乏云连接器的支持,云内部系统对接与优化 针对阿里云OSS&OTS&...
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...