如何处理Tair集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
如何处理Redis集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
产品优势
无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建企业的数据分析平台，同时完成高吞吐离线处理和高性能在线分析，实现降本增效。弹性能力和扩展性 AnalyticDB MySQL版 采用云原生技术...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务。详情请参见 ...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
二进制函数
from_base64(string)→varbinary 将base64编码的 string 解码为二进制数据。to_base64url(binary)→varchar 使用URL安全字符将 binary 编码为base64字符串。from_base64url(string)→varbinary 使用URL安全字符，将base64编码的 string ...
ST_BinData
返回用户自定义二进制数据。语法 bytea ST_BinData(sfmesh sfmeshObject);bytea ST_BinData(material material);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。描述 返回用户自定义二进制数据。需要预先通过 ST_...
ST_BinData
返回用户自定义二进制数据。语法 bytea ST_BinData(sfmesh sfmeshObject);bytea ST_BinData(material material);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。描述 返回用户自定义二进制数据。需要预先通过 ST_...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
文档更新动态（2022年之前）
新功能 创建Impala数据源、新建AnalyticDB for MySQL 3.0数据源、Dataphin支持的数据源 2021年08月24日 数据集成：数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化 新增...
ST_Tile
从金字塔中按瓦片编号生成一个mvt标准的二进制数据。语法 bytea ST_Tile(cstring name,cstring key);bytea ST_Tile(cstring name,int x,int y,int z);参数 参数名称 描述 name 金字塔名称。key 瓦片编号。x 瓦片编号里的x值。y 瓦片编号里...
ST_Tile
从金字塔中按瓦片编号生成一个mvt标准的二进制数据。语法 bytea ST_Tile(cstring name,cstring key);bytea ST_Tile(cstring name,int x,int y,int z);参数 参数名称 描述 name 金字塔名称。key 瓦片编号。x 瓦片编号里的x值。y 瓦片编号里...
ST_SetBinData
设置用户自定义二进制数据。语法 sfmesh ST_SetBinData(sfmesh sfmeshObject,bytea data);material ST_SetBinData(material material,bytea data);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。data 用户自定义数据。...
ST_SetBinData
设置用户自定义二进制数据。语法 sfmesh ST_SetBinData(sfmesh sfmeshObject,bytea data);material ST_SetBinData(material material,bytea data);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。data 用户自定义数据。...
配置学区地图轮播列表交互
本文档为您介绍当单击 轮播列表 组件时，切换展示对应学校在地图上的位置信息和数据的方法。背景信息 需要实现的交互：当单击用来展示学校排名的 轮播列表 组件内的某一行时，在 地图 组件上定位该学校位置，并通过 散点层 子组件返回该...
ST_Tile
从金字塔中按瓦片编号生成一个mvt标准的二进制数据。语法 bytea ST_Tile(cstring name,cstring key);bytea ST_Tile(cstring name,int x,int y,int z);参数 参数名称 描述 name 金字塔名称。key 瓦片编号。x 瓦片编号里的x值。y 瓦片编号里...
ST_ClearBinData
清除用户自定义二进制数据。语法 sfmesh ST_ClearBinData(sfmesh sfmeshObject);material ST_ClearBinData(material material);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。示例 SELECT ST_HasBinData(ST_...
ST_ClearBinData
清除用户自定义二进制数据。语法 sfmesh ST_ClearBinData(sfmesh sfmeshObject);material ST_ClearBinData(material material);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。示例 SELECT ST_HasBinData(ST_...
Transaction Table2.0概述
更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案可解决的业务痛点和主要架构功能。现状分析 当前典型...
ST_HasBinData
返回是否具有用户自定义二进制数据。语法 boolean ST_HasBinData(sfmesh sfmeshObject);boolean ST_HasBinData(material material);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。示例 SELECT ST_HasBinData(ST_...
应用场景
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算...
ST_HasBinData
返回是否具有用户自定义二进制数据。语法 boolean ST_HasBinData(sfmesh sfmeshObject);boolean ST_HasBinData(material material);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。示例 SELECT ST_HasBinData(ST_...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
查看监控信息
在进行数据库日常维护或处理数据库故障时，查看数据库相关的...常见问题 MySQL CPU使用率高的原因和解决方法 MySQL 实例空间使用率过高的原因和解决方法 MySQL IOPS使用率高的原因和解决方法 MySQL实际内存分配情况 操作视频 查看监控及报警
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品架构
流引擎 LindormStream 是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，兼容Kafka API和Flink SQL，帮助业务基于Lindorm快速构建基于流式数据的处理和应用。LindormStream内部包含流存储、流计算两大组件，通过两者的一体化...
Iceberg概述
而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
ST_MakeTexture
data 纹理图片的二进制数据流。描述 根据纹理图片二进制的存储形态，可以划分为三种形式，可以按照实际场景需求，灵活制定纹理的存储方案：纹理图片的二进制直接存储在数据库中，优势是不需要进行外部关联，劣势是数据库内数据量会比较大。...
ST_MakeTexture
data 纹理图片的二进制数据流。描述 根据纹理图片二进制的存储形态，可以划分为三种形式，可以按照实际场景需求，灵活制定纹理的存储方案：纹理图片的二进制直接存储在数据库中，优势是不需要进行外部关联，劣势是数据库内数据量会比较大。...
产品架构
数据管理DMS的产品架构分为三层：数据源、数据运营与管理和商业应用。数据源 关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、Oracle、达梦DamengDB等。...
- 产品推荐
- 这些文档可能帮助您