如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
XML 类型
为了处理这种行为，包含在表示 xml 类型输入的字符串中包含的编码声明会被 忽略，并且其内容被假定为当前服务器的编码。接着，为了正确处理，XML 数据的字符串必须以当前客户端编码从客户端发出。客户端负责在把文档发送给服务器之前将它们...
A100使用指南
为了给您提供更优质的数据库审计服务，阿里云已不支持新购数据库审计A100实例。如果您需要购买数据库审计实例，建议您购买C100或D100实例。如果您正在使用A100实例，请参考本文为您提供的A100产品介绍、产品计费、快速入门、用户指南访问...
配置学区地图轮播列表交互
本文档为您介绍当单击 轮播列表 组件时，切换展示对应学校在地图上的位置信息和数据的...使用同样的方式配置 地图父组件定位缩放 的 串行数据处理 节点。当前处理方法的示例代码如下。return[{"lng":data.lng,"lat":data.lat,"zoom":13 }];
2021年
新功能 MaxCompute支持处理MAP、ARRAY、STRUCT等复杂类型数据，提供多种函数支持多样化数据处理。复杂类型函数 2021-08-04 新增ETL工具连接MaxCompute操作指导。新说明 MaxCompute支持连接ETL工具管理MaxCompute项目。使用Kettle调度...
C100售后支持相关问题
您只需连通每台服务器与数据库审计系统之间的网络，就可以使用一个数据库审计实例对这些服务器中的数据库进行审计。示例二，您在一个阿里云账号下有13台ECS，其中9台使用经典网络，4台使用专有网络VPC。您只需连通每台服务器与数据库审计...
连接数据库集群
通过DMS登录 PolarDB 数据管理（Data Management Service，简称DMS）是一种集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持对关系型数据库（MySQL、SQL Server、...
连接数据库集群
通过DMS登录 PolarDB 数据管理（Data Management Service，简称DMS）是一种集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持对关系型数据库（MySQL、SQL Server、...
什么是EMR Serverless StarRocks
StarRocks能够实现秒级的导入延迟，提供近乎实时的数据处理能力。其存储引擎在导入数据的同时保障了ACID事务特性，保证了批量导入的原子性，确保操作要么全部导入成功，要么全部导入失败。这种设计允许多个事务并行处理，同时提供快照隔离...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
Kafka单表实时入湖OSS（HUDI）
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
Oracle同步至Tablestore
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
安装Agent
您需要根据数据库服务器的类型，选择合适的方式来安装Agent，才能使数据库审计服务收集目标数据库的访问流量信息。本文介绍安装Agent的具体操作。Agent程序的安装位置 根据要审计的数据库类型，您需要将Agent程序部署在不同的位置，以下是...
伪类型
伪类型 名字 描述 any 表示一个函数可以接受任意输入数据类型 anyelement 表示一个函数可以接受任意数据类型 anyarray 表示一个函数可以接受任意数组数据类型 anynonarray 表示一个函数可以接受任意非数组数据类型 anyenum 表示一个函数...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
技术发展趋势
而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着全球连接的增多，更多数据将产生，其中实时数据所占比例将增加；到2025年，全球近30％的数据将是实时的...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
源库连接性检查
检查输出结果中的授权IP地址列表是否包含DTS服务器IP地址，详情请参见 添加DTS服务器的IP地址段。如果源数据库为SQL Server，那么检查SQL Server所在服务器是否设置了防火墙，或者检查源数据库中是否有endpoint或trigger限制了访问来源IP。...
评估迁移时间与测试传输速度
部分场景中出现的问题原因及处理方式如下所示：数据传输速度小于实际测出的速度时，可能原因及处理方式如下表所示。可能原因 处理方式 源服务器和中转实例处于不同地域或不同国家。跨地域、跨国际的网络传输相比同地域传输有时较慢。测试源...
配置同步任务
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
导入结构和数据
导入对象信息 显示该任务中您选择的对象在导入数据时的完成情况，包括对象名称、对象类型、实际处理数量和数据处理状态等信息。任务流程 在目标任务的任务详情面板中，单击任务流程标签查看发起任务、审批和执行状态等信息。任务日志 在...
离线同步常见问题
同步的数据表，是否只能使用Alter方式来修改TTL?使用API方式同步的时候，支持使用来源端的（例如MaxCompute）函数做聚合吗？例如源表有a、b两列作为Lindorm的主键 Elasticsearch Reader如何同步对象Object或Nested字段的属性？（例如同步...
添加 Oracle 数据源的白名单
复制 OMS 控制台 添加数据源 对话框中显示的 OceanBase 数据传输服务器的 IP 地址。在安全组详情页面的 访问规则>入方向 区域，单击 快速添加。您也可以选择 手动添加，手动输入 端口范围、授权对象 等信息。在 快速添加 对话框，粘贴复制...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
车联网数据存储处理方案
本文从车联网的定义出发，结合行业趋势和国家规范，给出车联网通常需要采集的数据以及可以提供的服务。根据对车联网的业务特征的分析给出了为什么Lindorm作为一个数据存储为什么是车联网业务的合适选择。方案总览 Lindorm是一款适用于任何...
使用Spark处理JindoFS上的数据
Spark处理JindoFS上的数据，主要有两种方式，一种是直接调用文件系统接口使用；一种是通过SparkSQL读取存在JindoFS的数据表。JindoFS配置 以EMR-3.35版本为例，创建名为 emr-jfs 的命名空间，相关配置参数示例如下：jfs.namespaces=emr-jfs...
概述
Proxy会对不同类型的数据进行不同的脱敏处理，具体脱敏处理说明如下表所示。数据类型 脱敏处理说明 示例 整数型（TINYINT、SMALLINT、MEDIUMINT、INT、BIGINT）Proxy会根据该数据的类型选择一个符合该类型定义的随机值。原始值：12345 脱敏...
添加 MySQL 数据源的白名单
使用其它类型的数据源时，无需添加公网服务的白名单。添加 RDS MySQL 白名单 如果您添加 MySQL 数据源时，选择实例类型为 RDS 实例，请设置 RDS IP 白名单。在 RDS 实例 ID 下拉列表中选择目标 RDS 实例后，单击右侧的复制图标，复制 RDS ...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
通用数据开发
数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。...
数据服务概述
加工后的数据供应用读取 用户使用DMS数仓开发对数据进行加工汇总后，希望在应用中读取这部分加工后的数据进行业务处理，则可通过API的方式快速输出。当需要变更读取的逻辑时，只需要调整API的查询逻辑，而不需要重新发布应用。使用流程图 ...
数据处理
事件或动作 说明 处理方法 并行的数据处理方法。可在配置面板中添加多个处理方法，添加后，并行数据处理 节点中显示您添加的处理方法；不同处理方法可连接不同的上游节点，实现数据并行处理。参数 说明 处理方法 编写JavaScript函数体，...
Trino概述
支持丰富的数据源：Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 ...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
文档更新动态（2022年之前）
新增说明 用户角色和权限 2021年08月 更新时间 特性 描述 类别 产品文档 2021年08月24日 产品计费策略：优化 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
- 产品推荐
- 这些文档可能帮助您