2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月（V7....
数仓规划概述
例如，运营平台数据集市。详情请参见 数据集市。主题域 主题域用于将数据集市按照分析视角进行划分，通常是联系较为紧密的数据主题的集合。您可以根据业务的关注点，将这些数据主题划分至不同的主题域。例如，电商行业通常分为交易域、会员...
查询Delta表数据
如果需要向Delta表中添加字段（使用ADD COLUMN），为了避免Hive查询数据异常的情况，建议将新增字段追加到分区字段之前。更多详细信息，请查看 ALTER TABLE。执行以下命令，进入Hive命令行。hive 执行以下命令，在Hive中查看Delta表的数据...
一键MaxCompute任务出错恢复
出现脏数据导致的实时任务报错 常见的场景有目标列类型和源端数据不兼容，查看实时任务运行日志、查看脏数据的输出内容，请确认是源端数据问题还是目标端问题，如果是目标表结构问题，可能需要重建目标表以恢复实时任务。重新加载表：需要...
Hadoop集群迁移至DataLake集群
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
时序异常检测
数据服务提供时序异常检测算法，采用智能时序算法，实时分析设备时序数据，准确感知设备异常现象。查看基本信息 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例卡片。在左侧导航栏，选择 数据服务>数据智能。在算法模板列表中...
小程序监控
应用打开异常量 用户在应用中打开小程序页面时出现异常的次数。白屏率 白屏指小程序页面无任何内容，完全空白。白屏率=页面白屏数/页面打开次数 x 10000‱ JS 异常报错率 JS 异常报错率=JS 异常数/页面访问量 x 1000‰ JSAPI 异常量 小程序...
智能基线
您可通过智能基线功能从产品维度选择设备运行数据相关指标进行异常检测，您可开启报警通知推送功能，有效避免静态阈值报警以及误报。前提条件 设备已接入阿里云物联网平台。具体操作，请参见 设备接入。已开启设备诊断服务。具体操作，请...
StarRocks数据源
StarRocks数据源为您提供读取和写入StarRocks的双向通道，本文为您介绍DataWorks的StarRocks数据同步的能力支持情况。支持的版本 支持EMR Serverless StarRocks 2.5和3.1版本。支持EMR on ECS：StarRocks 2.1版本。详情请参见：StarRocks...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
Tablestore Stream配置同步任务
配置日调度会出现数据丢失的情况。不可以配置周期调度和月调度。开始时间和结束时间需要包含操作Table Store表的时间。例如，20171019162000您向Table Store插入2条数据，则开始时间设置为 20171019161000，结束时间设置为 20171019162600...
数据风险点监控
订单拍下时间不会大于当天时间，也不会小于业务系统上线时间，一旦出现异常校验则报错。当业务复杂、规则繁多、规则配置的运行成本高时，您也可以根据数据资产等级进行监控。离线数据风险点监控 数据准确性 数据准确性是数据质量的关键，也...
SmartData数据读取异常修复公告
历史版本的SmartData（3.0.x～3.5.x）服务存在已知缺陷可能会造成缓存数据出现损坏，导致读取数据内容发生异常。本文为您介绍缺陷影响，缺陷方案以及缺陷修复流程。缺陷影响 缺陷影响的组件：打开SmartData数据缓存功能的所有组件。重要 ...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
数据类型转换
功能说明 数据类型转换组件是将输入数据的数据类型转换成指定的数据类型，支持 int、double、string、datetime 四种类型转换。计算逻辑原理 int：将输入数据的类型转换成int类型。double：将输入数据的类型转换成double类型。string：将...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
Hive服务异常排查及处理
可继续对HiveMetaStore或者HiveServer2的日志进行排查，日志路径一般位于/mnt/disk1/log/hive/中，可逐步检查组件的.log、.err、.out 及GC等日志，判断HiveMetastore或者HiveServer2出现异常的真实原因。HiveMetaStore后端数据库问题 常见...
购买及登录数据资源平台
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
实时同步常见问题
如果发生数据异常，可以重新进行全量数据初始化方案（只需要将中间加列的表剔除，然后重新进行数据初始化，不需要将整个任务所有表进行全量初始化），恢复正确数据。源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
修改告警
数据传输支持修改已启动告警监控功能的数据迁移和数据同步项目的告警监控设置。本文以数据迁移项目为例，为您介绍如何修改告警监控。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。如果您需要设置数据同步...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
设置告警
数据传输支持对数据迁移和数据同步项目进行监控项的配置。项目创建完成后，您可以对单个项目设置告警监控，也可以选择多个项目进行批量操作。本文以数据迁移项目为例，为您介绍如何设置告警监控。背景信息 告警监控功能是数据传输重要的运...
升级步骤
查看数据同步任务详情（可选）在版本升级的过程中，若升级报错或出现其他异常时，您可以前往对应的DTS数据同步任务详情页查看数据同步任务的详细信息。登录 PolarDB控制台。找到目标集群，单击集群ID。在 基本信息 页面的 PolarDB升级功能 ...
JindoData版本说明
JindoFuse修复挂载JindoFSx后出现异常程序List根目录问题。JindoData 4.5.0版本 版本概要 JindoFS存储系统上着重优化元数据的操作性能，使得相关元数据性能得到显著的提升。完善JindoFS分层存储功能，支持低频以及冷归档存储类型。支持批量...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
如何备份RDS只读实例
否则恢复时需要回放大量binlog，会有很大几率出现恢复异常，恢复RTO（Recovery Time Objective）长，恢复失败的情况。全量备份周期 全量备份频率 为 周期备份 时必选。勾选备份数据的周期，每周最少选择一天进行数据备份。全量备份开始时间...
RDS MySQL只读实例逻辑备份
否则恢复时需要回放大量binlog，会有很大几率出现恢复异常，恢复RTO（Recovery Time Objective）长，恢复失败的情况。全量备份周期 全量备份频率 为 周期备份 时必选。勾选备份数据的周期，每周最少选择一天进行数据备份。全量备份开始时间...
功能特性
云原生内存数据库Tair 云原生内存数据库Tair是阿里云自研数据库，兼容Redis的同时提供更多数据结构和企业级能力，包括全球多活、任意时间点恢复和透明加密等。支持多种存储介质和不同场景性价比需求：内存型支持超高吞吐，性能为Redis三倍...
全景监控
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
功能简介
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
配置Elasticsearch输出
使用限制 DataWorks平台目前仅支持配置阿里云Elasticsearch5.x、6.x、7.x版本数据源，不支持配置自建Elasticsearch数据源。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后...
运维中心概述
依赖的所有父节点实例状态都为成功状态 配置节点依赖关系可以保障节点在运行时能取到正确的数据（读取上游表数据时，上游表的最新数据已产生），避免当前节点读取数据时，上游表数据还未产出，导致当前节点读取数据出现问题，所以，当节点...
简介
观星台是阿里云音视频通信为开发者提供的通信质量监测平台，分为通信监测、用量统计、质量统计和异常诊断模块，通过提供全链路的质量监控，帮助您及时发现并定位问题，可以有效的降低业务运维成本，并提高产品的使用体验。应用场景 应用...
简介
观星台是阿里云音视频通信为开发者提供的通信质量监测平台，分为通信监测、用量统计、质量统计和异常诊断模块，通过提供全链路的质量监控，帮助您及时发现并定位问题，可以有效的降低业务运维成本，并提高产品的使用体验。应用场景 应用...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
- 产品推荐
- 这些文档可能帮助您