使用慢日志排查超时问题
本案例中，最早出现的慢日志是由一条 KEYS 命令生成的。右侧的IP地址即为使用这些命令的客户端IP地址。查看数据节点慢日志以确认代理慢日志中的哪些日志引起了超时问题。说明 通常情况下，在代理慢日志中最先产生慢日志的命令，也会在数据...
客户案例
作为最早做互联网2C的社区平台之一，宝宝树很早就建立了自己的IDC集群，而且规模越来越大。客户需求 集群水位高，性能差，亟待大数据综合治理。IDC大数据每年投入成本高，希望降本提效。价值体现 从大数据平台上云整体“降本增效”的方案...
使用慢日志排查超时问题
本案例中，最早出现的慢日志是由一条 KEYS 命令生成的。右侧的IP地址即为使用这些命令的客户端IP地址。查看数据节点慢日志以确认代理慢日志中的哪些日志引起了超时问题。说明 通常情况下，在代理慢日志中最先产生慢日志的命令，也会在数据...
配置离线数据集成节点
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
PolarDB Serverless实现了哪些突破
第一代云原生数据库的困境 早期的云上数据库，大部分是以ECS中的自建数据库和云厂商托管的数据库RDS的形态存在的，到目前为止还是有非常大的用户量。这些云上数据库架构使用的是传统数据库的架构，只是运行在云的基础设施上，数据库本身并...
概述
最简单的搜索认为 查询 是一组词而 相似性 是查询词在文档中的频度。文本搜索操作符已经在数据库中存在很多年了。本数据库中对文本数据类型提供了~、~、LIKE 和 ILIKE 操作符，但是它们缺少现代信息系统所要求的很多基本属性：即使对英语也...
词云（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
DataV数字大屏设计介绍
设计风格 独特清晰的风格赋予数字大屏独特的行业属性，在数字大屏设计中经常会出现需求方要求设计炫酷的要求，其中炫酷包含的关键词主要有 科技感、空间感 和 光感。首先对于科技感，您可能最先想到科幻片、高精尖的设备和未来的一些场景，...
PolarDB MySQL版CPU使用率高
CPU作为数据库最核心的资源，是日常运维中需要重点关注的对象。CPU用满，会导致应用RT增高、业务卡顿，更严重会导致数据库实例hang死、发生HA等问题，严重影响现网业务。正常情况下，对于CPU的监控需要设定安全水位，超出安全水位时要及时...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。创建数据迁移项目时，您仅配置了 增量同步，数据传输要求源端数据库的本地增量日志保存 48 小时以上。支持的源端和目标端实例类型 下表中，...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
企业版和标准版功能对比
不支持 支持 一写多读集群 PolarDB 采用分布式集群架构，一个集群版集群包含一个主节点和最多15个只读节点（可以只包含一个主节点），多个数据库节点构成数据库引擎层。主节点处理读写请求，只读节点仅处理读请求。主节点和只读节点之间...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
全文检索
概述 在数据库存储的文本中找到特定的查询词并将它们按照出现的次数排序，就是一种典型的全文检索应用。大部分数据库都提供对文本查询的基本功能。例如，在查询中使用LIKE等表达式查找搜索文本，但这些方法在现代数据库业务中缺少以下能力...
概述
这就导致了不同系统之间会进行数据迁移，同一份数据可能在不同源之间冗余，进而出现数据不一致的问题，以及特征难管理、模型难升级等困境。除此之外，数据工程师、算法工程师和开发工程师的人力成本也是当前数据驱动的智能决策应用难以大...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。如果创建数据迁移项目时，您仅配置了 增量同步，数据传输要求源端数据库的本地增量日志保存 48 小时以上。如果创建数据迁移项目时，您配置...
OceanBase 数据库之间的数据迁移
仅适用于 OceanBase 数据库 Oracle 租户的注意事项：如果您在迁移过程中，跳过"源端-主库-数据库 ROW_MOVEMENT 检查"预检查项，同步 ROW_MOVEMENT 为 enable 的表，会出现数据不一致的情况。支持的源端和目标端实例类型 下表中，OceanBase ...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
待迁移的表需要具备主键或唯一约束，且字段具有唯一性，否则可能导致目标端数据库出现数据不一致的问题。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。目标端是数据库的情况下，...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。如果创建数据迁移项目时，您仅配置了 增量同步，数据传输要求源端数据库的本地增量日志保存 48 小时以上。如果创建数据迁移项目时，您配置...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。如果创建数据迁移项目时，您仅配置了 增量同步，数据传输要求源端数据库的本地增量日志保存 48 小时以上。如果创建数据迁移项目时，您配置...
常见问题
如果实时同步延迟较大（延迟大于5秒），请根据您的业务场景选择合适的优化方式：数据基本没有更新，同时数据是整行写入的（一行数据不会分批次写入）：请联系Lindorm技术支持（钉钉号：s0s3eg3）修改配置。每次写入过程中，不做并发检查，...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
可能出现数据一致性问题。由于 UPDATE 和 DELETE 操作在 RDS PostgreSQL 中不支持 LIMIT 语法，当全列匹配时匹配到多条数据，可能会出现 UPDATE 或 DELETE 数据比目标端多的情况。例如，无主键表 t1 中存在 c1 和 c2 两列，在源端有两条 c1...
Cost-based SQL诊断引擎
和其它公司一样，在阿里巴巴业务场景下，大部分业务跟数据库有着非常紧密的关系，数据库一个微小的抖动都有可能对业务造成非常大的影响，如何让数据库更稳定，得到持续优化一直都是非常重要的诉求。数据库环境下的业务优化，通常涉及三个...
MaxCompute表数据
包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表等操作。本文为您介绍如何在数据地图查看和管理MaxCompute表。前提条件 已绑定MaxCompute引擎至当前工作空间，绑定后DataWorks会面向引擎自动采集元数据，...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
如果您在迁移过程中，跳过"源端-主库-数据库 ROW_MOVEMENT 检查"预检查项，同步 ROW_MOVEMENT 为 enable 的表，会出现数据不一致的情况。在源端为 OceanBase 数据库并开启同步 DDL 的数据迁移项目中，如果源端库表发生重命名（RENAME）操作...
数据风险点监控
本文为您介绍在线数据风险点监控和离线数据风险点监控。在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端表对象存在记录时处理策略 选择 忽略：目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
转换后可以确保源端不同字符集中的数据能成功迁移至目标端，但割接后反向增量可能会出现数据超长无法写回源端的问题。如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的...
快速入门
云数据库RDS SQL Server SQL Server是发行最早的商用数据库产品之一，作为Windows平台（IIS+.NET + SQL Server）中的重要一环，支撑着大量的企业应用。SQL Server自带的Management Studio管理软件内置了大量图形工具和丰富的脚本编辑器。您...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
大数据安全治理的难点
大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，难免会出现遗漏的...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
热词分析
热词分析，可以按周期展现热词出现的频率，通过热词出现频率的变化，可以辅助您快速感知业务异常，提前做舆情分析。新建任务 如上图所示，可进入新建任务表单页面：数据来源：数据集 或 呼叫中心:数据集：即使用一个或多个数据集作为...
修饰词
修饰词是基于选择的数据域创建的，是对数据域中的数据不同维度的修饰，用来限定统计数据的业务范围。例如，统计上海区域生鲜门店的销售金额，上海区域和生鲜门店就是对业务范围的限定修饰。前提条件 已创建数据域，用于确定修饰词所属的...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
- 产品推荐
- 这些文档可能帮助您