迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
概述
您可以创建SQL类型的流数据分析任务，并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请参见 Flink SQL概述。在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的...
高温报警
本文以高温报警（传感器温度>80度时，输出报警信息到本地文件中）的场景为例，详细说明如何使用SQL进行流数据分析作业的编写以及流数据分析作业如何运作。流程图如下所示。前提条件 请您确保已创建边缘实例，具体操作请参见 专业版环境搭建...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
产品概述
动态伸缩 每个主题（Topic）的数据流吞吐能力可以动态扩展和减少，最高可达到每主题256000 Records/s的吞吐量。高安全性 提供企业级多层次安全防护，多用户资源隔离机制；提供多种鉴权和授权机制及白名单、主子账号功能。使用场景 数据总线...
时序引擎版本说明
修复最新值查询在扩容后可能会出现返回多条数据的问题。修复降采样查询中不支持常量折叠计算的问题。修复正则查询降采样数据时间条件不生效的问题。3.4.10 2022年02月28日 新特性 SQL查询语句tags支持通过正则表达式过滤。支持non_negative...
基于Indexing Service实现数据流管理
本文为您介绍如何基于Indexing Service系列实现数据流管理以及日志场景分析。背景信息 在复杂业务场景下，海量服务器、物理机、Docker容器、移动设备和IoT传感器等设备中往往存在着结构分散、种类多样且规模庞大的各类指标和日志数据，而...
基因分析应用
图1：基因数据分析流程（来源/《中华医学遗传学杂志》）我们以工作流（Pipeline or Workflow）来指代这些分析脚本。简单的来说，它可以是一段由用户编写的、会执行多个命令的Shell或者Python脚本，能够从头到尾完成特定的基因数据分析任务...
自动SQL限流
除了上述的问题，在现实生活中可能还会出现各种特殊情况，比如值班人员联系不上、工作人员身边没有电脑、信息太多分析难度大、压力大紧张操作失误等。因此需要尽可能的把异常发现、异常SQL定位、SQL限流、跟踪/回滚的整体流程自动化处理。...
慢日志分析
常见问题 Q：对于 RDS MySQL 和 PolarDB MySQL版 数据库实例，为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和...
慢日志分析
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
应用场景
阿里云提供了非常完善的BI体系，DTS可以帮助您将自建数据库实时同步至阿里云的BI存储系统（例如MaxCompute、分析型数据库或流计算等），助力您在阿里云上快速搭建满足自身业务的定制化BI系统。数据实时分析 传输方式：数据订阅 数据分析在...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
概述
流数据分析提供了连接边缘端消息总线的能力，您可以通过配置消息路由将设备数据传入到流数据分析中，利用流数据分析方便地对设备数据进行实时计算，并将结果输出到RDS、本地文件、函数计算或IoTHub中。本使用示例将会从多个使用场景来讲述...
Serverless Spark概述
DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓...
性能优化与诊断简介
自动SQL优化 可以进行自动SQL诊断优化和索引创建，在数据库实例出现慢SQL问题时，及时进行诊断和优化，帮助数据库系统运行在最佳状态。自动SQL限流 可以设置触发条件，当相关条件满足时会自动触发SQL限流来控制数据库请求访问量和SQL并发量...
异常检测
及时发现数据库的异常问题是数据库日常运维的重点。数据库自治服务DAS提供异常检测功能，基于机器学习和细粒度的监控数据，无需手动开启，自动实现7x24小时的异常检测。相比基于规则或阈值的告警方式，能够更及时地发现数据库异常变化。...
设计阶段
完成需求阶段的工作后，数据产品经理会产出最终版本的产品...数据流设计 ETL过程中，数据流向有如下限制：数据流向仅支持由低到高，即ODS->DWD->DWS->ADS。数据不能跨层引用、逆向引用。DWS层不同集市的数据不能相互引用，必须沉淀到DWD层。
数据资产等级定义
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。这些性质的重要性依次降低，即重要程度为A1>A2>A3>A4>Ax。如果一份数据出现在多个应用场景汇总，则根据其最重要程度...
使用gig流控插件
当节点服务质量出现问题（一般体现为查询延迟飙升或错误率上升）时，插件能够通过PID算法实时收集分析服务节点指标，快速做出反应，屏蔽异常节点，实现故障后的秒级切流。当新节点上线加入集群时，为避免业务流量直接输入到服务能力未达标...
SQL优化技术
诊断能力 DAS的SQL诊断优化服务是自动SQL优化强大后盾，它采用基于代价模型方式，也就是采用和数据库优化器相同的方式去思考优化问题，最终会以执行代价的方式量化评估所有的可能推荐候选项，最终作出可靠推荐。该服务已在阿里巴巴集团内部...
数据看板
作用：可以根据冷门榜进行对话流的重新设计或者对话流归档，此处支持下载后供管理员进行冷门对话流分析。对话流明细数据下载 所选机器人在所选时间段内，根据用户对对话流的会话情况，展示对话流的触发详情。并且支持有关数据导出下载。...
PolarDB死锁
更严重的情况是在大量死锁发生时，会导致数据库系统效率低下，大量进程堆积进而引发性能问题。正常情况下，死锁都是由于逻辑加锁的顺序导致的，也就是我们常说的ABA死锁。如下图所示：上图中tran_A与tran_B两个请求分别持有对方所需要的...
DataWorks V2.0
当离线MaxCompute数据发生变化时，数据质量会对数据进行校验并阻塞生产链路，避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。数据服务（新增）数据服务 提供了快速将数据表生成数据API的能力...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
实例会话
数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的会话信息，并提供会话运维操作，例如结束会话、10秒SQL分析、SQL限流以及优化等。前提条件 目标数据库实例已接入DAS，并且接入状态显示为 接入正常...
会话管理
数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的活跃会话、异常会话、会话访问来源和SQL语句等信息，并提供结束会话、SQL限流、SQL诊断优化等运维操作。前提条件 实例为如下版本：RDS MySQL 8.0 高...
产品优势
DBS通过使用阿里实时数据流技术，读取数据库日志并进行实时解析，然后备份至云端存储上，实现对数据库的增量备份。通常，DBS可以将增量备份的延迟控制在秒级别以内，根据实际网络环境不同，延迟时长也会不同。并行备份：全程无锁备份、多...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
慢SQL
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
PolarDB MySQL版CPU使用率高
整个数据库系统的缓存区域，是数据交换最为频繁的位置，如果内存不足和内存页争抢，则会出现各种异常的堆积和慢查询。最典型的表现是数据库突然CPU上涨打满，并且出现慢查询。经过排查后发现该问题并非索引缺失，这个时候就有可能是内存...
数据看板
管理员可以根据冷门榜进行对话流的重新设计或者对话流归档，此处支持下载后供管理员进行冷门对话流分析。（展示2000条，可下载20000条，日期筛选器需选择单日期）。对话流明细：所选机器人在所选时间段内，根据用户对对话流的会话情况，...
- 产品推荐
- 这些文档可能帮助您