功能简介
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
授权与回收数据源权限
③ 列表区 为您展示授权的数据源账号、权限类型、有效期至、权限来源信息，同时，您可以在 操作 列下对数据源进行 回收 操作。回收：回收单个账号的整体数据源权限。在 数据源回收 对话框，填写 回收原因。单击 确定。④ 批量操作区 回收：...
授权与回收数据源权限
③ 列表区 为您展示授权的数据源账号、权限类型、有效期至、权限来源信息，同时，您可以在 操作 列下对数据源进行 回收 操作。回收：回收单个账号的整体数据源权限。在 数据源回收 对话框，填写 回收原因。单击 确定。④ 批量操作区 回收：...
羲和分析计算引擎
相对于传统的以数据为中心的计算方式，面向算子为中心的计算方式对现代CPU计算更友好：缓存友好的同时，利用乱序执行扩大了CPU的指令并发，利用SIMD又扩大CPU的数据并发，充分挖掘了现代CPU的算力。面向混合负载的查询执行 羲和分析计算...
增强E-R
模式识别E-R 模式识别（SchemaMatching）E-R整合了阿里巴巴内部的数据识别算法能力，该算法可在已有的数据资产中自动挖掘数据库内潜在的关联关系，即使没有对数据进行任何标识也会被挖掘出来，挖掘到的关系将用于构建数据资产知识图谱。...
访问外部数据源
背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标...
管理Dataphin数据源权限
如果需要查看字段的数据，则选择 查询权限。权限账号 系统默认选择为 应用。权限账号所属项目 系统默认选择为默认项目。应用 选择应用的分组及应用。有效期至 选择权限的截至时间。您也可以选择自定义后，指定截至时间。申请原因 填写申请...
可用性与可靠性
异常时自动切换节点，宕机时自恢复来保证极致的可用性，还可以通过备份恢复来进行数据恢复。主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也...
数据库代理主机监控详情
通过自定义筛选时间查看相应时间段内的数据。可查看如下监控数据信息：监控指标项 监控指标名 指标说明 load load1 过去1分钟系统平均负载。CPU 使用率 cpu_percent CPU 使用率，单位：百分比（%）。IO 吞吐量 io_byte 平均每秒 IO 数据量...
升级
资源治理 支持您进行数据使用消耗分析，从全局视角把控计算和存储成本，提升资源使用效率，构建可管控的数据资产健康体系。资产安全 支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据...
配置任务常见错误码及排查方法
DTS.Msg.InvalidIpAddress 配置 接入方式 为 公网IP、专线/VPN网关/智能网关 或 云企业网CEN 的数据库实例的DTS任务时。原因：输入的IP地址格式错误，导致无法解析。解决方法：输入正确的IP地址后重试。DTS.Msg.PauseDenied....
通过向导模式配置离线同步任务
离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
什么是Dataphin
创建资源 新建用户自定义函数 数据萃取 基于Dataphin数据建模研发沉淀的数据，萃取提供以目标对象为中心的数据打通和深度挖掘，并生成代码与调度任务，完成实体对象识别、连接及标签生产，可快速应用于各类业务。数据萃取 发布 生产开发...
权限操作审计
区域 描述 ① 搜索及筛选区 您可根据数据对象的名称关键字进行模糊搜索，可勾选 我管理的，筛选当前账号管理的数据表，也可根据权限类型、操作类型筛选数据表。② 导出区 查看导出记录：支持查看权限操作审计的导出记录。在 导出记录 ...
权限操作审计
区域 描述 ① 搜索及筛选区 您可根据数据对象的名称关键字进行模糊搜索，可勾选 我管理的，筛选当前账号管理的数据表，也可根据权限类型、操作类型筛选数据表。② 导出区 查看导出记录：支持查看权限操作审计的导出记录。在 导出记录 ...
Kafka实时ETL同步至Hologres
在弹出对话框中指定好 开始时间 和 采样条数 后，单击 开始采集 按钮，可以对指定的Kafka Topic进行数据采样，同时您可以预览Topic中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。编辑数据处理节点。单击 图标可以增加数据...
审计数据归档OSS
本文介绍如何将V3.1版本堡垒机中的审计数据归档至阿里云对象存储OSS进行管理。背景信息 在堡垒机上执行审计数据归档操作时，会将所有审计数据一同转存至OSS，包括录像数据、事件查询数据、会话数据、操作日志等。根据转存的数据量，OSS将...
行业趋势与背景
从用户角度来看，需要满足用户使用云的一些期望，比如用户的数据库数据永远不会丢，即使主机异常宕机，这里需要有数据强一致以及高可用容灾等能力；比如随着移动互联网和IoT的普及，数据层面会有爆炸式的增长，以及疫情之后有更多的企业会...
功能更新动态（2022年之前）
2021年08月 功能名称 功能描述 发布时间 发布地域 相关文档 产品计费：策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总逻辑表...
从Oracle迁移应用至阿里云PolarDB全流程指南
概述 阿里巴巴基于多年去IOE（即IBM的大型机或小型机、Oracle的数据库、EMC的存储设备）最佳实践，总结出一套专业的迁移Oracle上云的方法论以及解决方案。并建立专业的团队和专业的工具帮助企业最小成本、最低风险、最短周期迁移Oracle上云...
常见问题
ClickHouse每次写入都会生成一个data part，如果每次写入一条或者少量的数据，那会造成ClickHouse内部有大量的data part（会给merge和查询造成很大的负担）。为了防止出现大量的data part，ClickHouse内部做了很多限制，这就是too many ...
DQL操作常见问题
子查询 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？交集、并集和补集 ...
Tunnel命令常见问题
ErrorCode=NoSuchPartition,ErrorMessage=The specified partition does not exist 产生原因 数据要插入的目标分区不存在。解决措施：您可以先通过 show partitions table_name;命令来判断分区是否存在，并通过 alter table table_name add...
包年包月资源隔离
使用案例 场景 数据仓库团队使用MaxCompute进行开发、分析、挖掘的业务大致为：数据仓库开发和生产、运营分析需求、算法挖掘。基于不同的业务创建不同的MaxCompute项目：数据仓库开发和生产：按照数据仓库模型分层划分MaxCompute项目，分为...
常见问题
可能原因：源表的数据类型与目标表不一致，在进行类型转换时出错。例如源表中的 create_time 字段为DATETIME类型，通过DTS同步到DataHub中时，自动转换成TIMESTAMP类型，而目标表为DATETIME类型。此时需要通过SQL函数将TIMESTAMP类型的数据...
数据科学计算概述
Scikit-Learn：用于数据分析和数据挖掘任务的算法。为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及...
概述
参见 数据源管理 章节，创建数据源，选择希望导入到数据湖的数据来源。参见 入湖模板 章节，创建数据湖模板，定期将数据源中的数据抽取到数据湖。参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
Tair持久化与备份恢复
如遇 Tair 宕机或重启，能够利用磁盘中的持久化文件恢复数据。为满足各类场景下对备份与恢复的需求，云原生内存数据库Tair 提供RDB持久化、AOF持久化和Tair-Binlog持久化策略。持久化策略 云原生内存数据库Tair 支持以下持久化策略：RDB...
Redis持久化与备份恢复
如遇 Redis 宕机或重启，能够利用磁盘中的持久化文件恢复数据。为满足各类场景下对备份与恢复的需求，云数据库 Redis 版 提供RDB持久化、AOF持久化和Tair-Binlog持久化策略。持久化策略 云数据库 Redis 版 支持以下持久化策略。RDB持久化 ...
解读实例诊断报告
实时Top Key统计 离线全量Key分析 TOP 10 节点慢请求 展示发生慢请求次数排名前十的数据节点，并展示对应的慢请求信息，统计来源如下：系统审计日志中保存的数据节点慢日志（仅保留4天）。数据节点本身记录的慢日志（仅保存最近的1024条）...
解读实例诊断报告
离线全量Key分析 实时Top Key统计 TOP 10 节点慢请求 展示发生慢请求次数排名前十的数据节点，并展示对应的慢请求信息，统计来源如下：系统审计日志中保存的数据节点慢日志（仅保留4天）。数据节点本身记录的慢日志（仅保存最近的1024条）...
API概览
数据库（仅支持V3.2.40及以上版本使用）API 标题 API概述 CreateDatabase 在堡垒机中创建需要运维的数据库 在堡垒机中创建需要运维的数据库。ModifyDatabase 修改数据库基本信息 修改数据库基本信息。GetDatabase 获取指定数据库的详细信息...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
使用LOAD DATA语句导入数据
注意事项 使用load data进行数据导入时，load data语句并非一个事务，因此各种原因（如数据库宕机等）可能导致部分数据插入，剩余部分未插入。客户端需要开启 local-infile。语法 LOAD DATA[LOCAL]INFILE 'file_name'[REPLACE|IGNORE]INTO ...
写入数据
此时TSDB写入成功或失败时会按下述响应内容返回成功的数据点数和失败的数据点数方便业务端进行统计 名称 数据类型 描述 success Integer 写入成功的数据点数 failed Integer 未能成功写入的数据点数 示例如下：{"failed":0,"success":20 } ...
多值数据写入
而且返回的errors中只会返回第一个引发失败的数据点及其失败原因（直接原因），该批次的其他数据点不会包含在 errors 中，只会体现在统计信息 failed 中。该模式适用于业务监控数据上报时对于上报数据存在统计需求且需要失败定位时的场景。...
恢复数据
您可以在 专有网络控制台 查看虚拟交换机的详细信息。还原方式 按时间点：可以设置为日志备份保留时间内的任意时间点（任意一秒）。如要查看或修改日志备份保留时间，请参见 备份数据。按备份集：恢复所选备份集内的数据。还原时间 还原...
- 产品推荐
- 这些文档可能帮助您