如何处理Tair集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
如何处理Redis集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
查看监控信息
在进行数据库日常维护或处理数据库故障时，查看数据库相关的...常见问题 MySQL CPU使用率高的原因和解决方法 MySQL 实例空间使用率过高的原因和解决方法 MySQL IOPS使用率高的原因和解决方法 MySQL实际内存分配情况 操作视频 查看监控及报警
数据源读取时间超时的优化思路
本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询...
数据源读取时间超时的优化思路
本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
配置学区地图轮播列表交互
本文档为您介绍当单击 轮播列表 组件时，切换展示对应学校在地图上的位置信息和数据的方法。背景信息 需要实现的交互：当单击用来展示学校排名的 轮播列表 组件内的某一行时，在 地图 组件上定位该学校位置，并通过 散点层 子组件返回该...
Druid 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
数据质量衡量
例如，针对每一个数据质量事件，必须分析原因和处理过程，制定后续同类事件预防方案。将严重的数据质量事件升级为故障，并对故障进行定义、等级划分、处理和总结。相关工具链接 DataWorks数据质量管理工具，请参见 数据质量概述。DataWorks...
调优集群性能
导致查询失败可能有多种原因，常见原因和处理方法如下：SQL存在问题导致查询失败 语法错误 SQL不符合 云原生数据仓库 AnalyticDB MySQL 版 官方对SQL语法的定义，通常在SQL语法解析阶段报错。例如，SQL不完整、格式错误、关键字缺失、标点...
常见报错
本文介绍配置任务和任务运行时系统返回的报错信息（如重试信息或错误码）以及解决方法。说明 本文以正则表达式（(.*)?的形式表示报错信息中的变量。若报错无法解决，您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群...
导入中特殊符号处理
AnalyticDB PostgreSQL版 支持多种数据导入方法，在通过OSS高速并行导入和通过\COPY命令导入数据的过程中，经常因为存在特殊字符导致导入失败。本文将介绍预先处理导入数据中的特殊字符的方法，从而消除特殊字符带来的问题。更多导入数据到...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
HikariCP 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 HikariCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 hikaricp-mysql-client 示例工程 前提条件 您已安装 OceanBase...
SQL错误码（ODPS-01CCCCX）
本文为您介绍SQL错误码列表、触发条件及处理方法。该类型错误的错误码编码格式如下。ODPS-01CCCCX:通用描述-上下文相关说明 SQL错误包含META（CCCC段为1000~1999）、PROCESSOR（CCCC段为2000~2999）、PARSER（CCCC段为3000~3999）和PLANNER...
如何解决集群连接失败的问题
本文将介绍使用DMS（Data Management Service）和通用MySQL客户端连接 PolarDB MySQL版 集群失败的问题原因以及解决方法。集群白名单未配置或配置有误 问题原因：白名单设置中默认地址为 127.0.0.1，表示禁止任何IP地址访问 PolarDB 集群。...
配置任务时测试连接失败的排查及解决方法
概述 配置数据迁移任务时，可以进行数据库连接测试，很多时候会遇到测试连接失败。本文根据不同的实例类型介绍可能失败的原因及对应的解决方案。详细信息 当连接性预检查失败时，可能是由于如下原因：诊断内容 可能原因 解决方法 JDBC 数据...
Spark常见报错
本文汇总了 AnalyticDB for MySQL Spark作业常见的错误码、报错信息、报错原因和解决办法。您可以参考本文解决报错。报错概览 现象 错误码 报错信息 Spark访问JDBC数据源失败。JDBC_SOURCE_TABLE_NAME_DUPLICATE Both '$jdbcTableName' and...
离线同步常见问题
解决方案：针对产生乱码的不同原因，选择相应的解决方法：如果您的原始数据乱码，需首先处理好原始数据，再进行同步任务。数据库和客户端编码格式不一致，需先修改编码格式。浏览器编码和数据库或客户端编码格式不一致，需先统一编码格式，...
目标数据库连接性检查
本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不正确 检测方法：在任何一台可以连接目标数据库的设备上，使用数据迁移任务中填入的数据库账号和...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
数据防泄漏典型案例
常见数据泄露原因 在获得用户授权后，异常告警功能可检测以下类型的问题：内部数据泄漏 笔记本电脑和移动设备的丢失或失窃 敏感数据越权访问和存储 在职员工、待离职员工、合作伙伴、外包人员盗窃数据 员工外发、打印和复制敏感数据 意外...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
外部表概述
外部表示例 您可以通过以下示例，深入了解通过MaxCompute外部表功能处理各种非结构化数据的方法：访问OSS和TableStore（OTS）非结构化数据，请参见 访问OSS非结构化数据 和 访问OTS非结构化数据。外部表访问OSS的账号，在RAM中自定义授权...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
配置任务常见错误码及排查方法
本文介绍了用户在使用控制台或OpenAPI配置任务时系统返回的错误码、出现报错的场景及解决方法。用户配置使用类错误码 错误码 报错场景 原因及解决方法 DTS.Msg.LXCreateOrderError 购买DTS实例时创建订单不成功。原因：未将UID添加至白名单...
常见错误码及排查方法
本文介绍DTS的常见错误码、报错原因及排查方法，帮助您进行初步的报错排查。文中提及的报错示例仅供参考，实际遇到的报错可能不完全一样。错误码 报错说明 报错示例 可能的解决方法 DTS-51009 DTS写入模块读取DTS缓存模块时，显示连接超时...
修复同步作业预检查失败的问题
DTS在执行数据同步作业之前，会对源库和目标执行预检查，本文介绍各类检查项失败可能的原因及修复方法。预检查项目 失败可能的原因 修复方法 源库连接性检查 目标库连接性检查 数据库账号或密码不正确。获取到正确的密码，然后修改同步作业...
产品优势
无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建企业的数据分析平台，同时完成高吞吐离线处理和高性能在线分析，实现降本增效。弹性能力和扩展性 AnalyticDB MySQL版 采用云原生技术...
常见问题
Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：...
解读实例诊断报告
性能水位 性能指标 危险阈值 影响 可能的原因及排查方法 CPU使用率 60%CPU使用率持续升高将影响实例整体的吞吐量和客户端应用的响应速度，极端情况下甚至会导致应用不可用。可能的原因：执行高复杂度的命令。存在热点Key。频繁建立连接。...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
解读实例诊断报告
性能水位 性能指标 危险阈值 影响 可能的原因及排查方法 CPU使用率 60%CPU使用率持续升高将影响实例整体的吞吐量和客户端应用的响应速度，极端情况下甚至会导致应用不可用。可能的原因：执行高复杂度的命令。存在热点Key。频繁建立连接。...
数据仓库研发规范概述
本文将为您介绍数据仓库研发规范的阶段规划、角色职责和整体流程。在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发...
GxP欧盟附录11标准合规包
5.1 以电子方式与其他系统交换数据的计算机化系统应包括适当的内置检查，以确保数据的正确和安全输入和处理，以最大限度地减少风险。7.1 应通过物理和电子手段保护数据免受损坏。应检查存储的数据的可访问性、可读性和准确性。应确保在整个...
文档更新动态（2022年之前）
新功能 创建Impala数据源、新建AnalyticDB for MySQL 3.0数据源、Dataphin支持的数据源 2021年08月24日 数据集成：数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化 新增...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
- 产品推荐
- 这些文档可能帮助您