图像处理方法及优势
在一些内容分享网站，一张原始图片可能会根据业务的需要被缩放、裁剪、旋转、压缩等，若每次处理都需要回源，则会增加回源次数及CDN节点缓存。阿里云 DCDN 提供图像处理功能，可直接在 DCDN 的L2节点对图片进行处理，同时缓存处理后的图片...
DataStudio侧实时同步任务配置
示例：对上一步源表名和目标表名转换规则转换后的表名做进一步字符串拼接处理，使用${db_table_name_src_transed}代表上一步的处理结果“my_table”，再为该内置变量增加前缀和后缀，例如，pre_${db_table_name_src_transed}_post，最终就...
表索引诊断
统计信息日志表（hologres.hg_table_info）用于收集实例中表的相关元数据，包括创建时间、存储量等信息，以便业务对表做精细化治理。基于hg_table_info表，Hologres提供了表索引诊断功能，通过对表的索引（存储模式、索引设置）等不同维度...
RDS MySQL助力MySQL 5.7升级8.0
阿里云RDS MySQL 5.7升级8.0的部分治理工作如下表所示：导致升级失败的问题 阿里云RDS的治理 是否需要用户进一步干预 Server层与InnoDB字段、索引大小写不一致 在升级过程中，系统会主动检测并修复Server层和InnoDB之间的不一致问题，用户...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
常见问题概览
备份与恢复方案概览 下载备份文件 性能、空间与内存 热点问题 其他常见问题 如何排查MongoDB实例负载过高的问题 MongoDB实例内存使用率高问题 MongoDB实例的CPU使用率高问题 MongoDB实例IOPS使用率高问题 MongoDB实例空间使用率高问题 为...
AliSQL内核小版本发布记录
不建议升级到此版本，如遇到备份失败问题，请参见 RDS MySQL 8.0.31(20230630)版本备份失败问题处理。新特性 合并官方 8.0.31 变更。支持取消正在运行的Buffer Pool Online Resize。Statement Concurrency Control功能新增模板级别并发控制...
配置流程
数据传输服务DTS提供的数据加工功能ETL（Extract Transform Load），实现了流式数据的清洗和转换处理，能够准确、高效地提供您需要的数据。本文介绍如何通过DAG模式（可视化拖拽方式）配置ETL任务。背景信息 说明 ETL功能处于灰度公测阶段...
地址标准化的审计事件
地址标准化已与操作审计服务集成，您可以在操作审计中查询用户操作地址标准化产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
进入数据质量概览（新版）
需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，及时处理质量问题提升数据质量。...
添加DNAT
DNAT是指将智能接入网关内部地址映射为外部网络地址，外部网络可以通过映射后地址访问内部网络，从而使内部网络可对外提供服务。操作步骤 登录 智能接入网关管理控制台。使用以下任意一种方式进入 网络配置 页面。单击目标智能接入网关实例...
什么是地址标准化
地址异常检测 判断地址是否为问题地址，并且明确问题类型，具体问题类型包括：非地址、片段缺失、片段冗余、数字位数错误等。1）当输入地址片段时，系统会检测出该地址信息中缺失部分；2）当输入的地址错误或不存在时，系统会返回“非地址...
表删除，更新和合并
对于所有操作，如果由生成目标列的表达式生成的数据类型与目标Delta表中的对应列不同，merge会尝试将其转换为表中的类型。自动架构演变 重要 merge 中的架构演变在Databricks Runtime 6.6及更高版本中可用。默认情况下，updateAll和...
表概述
本文为您介绍表的基本概念、数据类型和使用限制。系统架构 您可以通过如下系统架构图了解MaxCompute数据的处理流程。MaxCompute中表的类型如下。基本概念 项目 项目（Project）是MaxCompute的基本组织单元，类似于传统数据库的Database或...
数据标准化
模块介绍 数据标准化模块的作用是对接入的数据进行标准化处理，可以通过原始数据得出对应的标准地址、结构化信息、POi信息、POi类型、判断是否为问题地址等信息。新建任务 进入 数据标准化 页面后，点击“新建任务”，输入任务名称，选择...
配置并管理实时同步任务
单击 刷新源表和 AnalyticDB for MySQL 3.0表映射 将根据您在步骤3配置的目标表名映射规则来生成目标表，若步骤3未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标...
质量变换
质量变换操作是使用原图本身的格式对图片进行压缩。您可以通过质量变换参数，修改存储在OSS内原图的质量。本文介绍对图片进行质量变换时所用到的参数及示例。质量变换仅支持JPG和WebP，其他图片格式不支持。参数说明 操作名称：quality ...
流式ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
Kafka实时ETL同步至Hologres
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到...
流计算实现细节
在SourceRDD中将通道的channel和RDD的partition进行绑定，因此每个Channel都会在Spark的执行节点上分布式的进行数据并行转换和处理。执行自定义的Spark计算逻辑。执行每个RDD partition上的计算逻辑，此处会进行channel上的数据读取，并...
什么是ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
数据集成侧同步任务配置
示例：对上一步源表名和目标表名转换规则转换后的表名做进一步字符串拼接处理，使用${db_table_name_src_transed}代表上一步的处理结果“my_table”，再为该内置变量增加前缀和后缀，例如，pre_${db_table_name_src_transed}_post，最终就...
概述
提供7种匹配模式（指定值匹配、前缀匹配、后缀匹配、除外匹配、数值匹配、数组匹配、复杂组合逻辑匹配）、5种规则转换器（完整事件、部分事件、常量、模板转换器、函数计算模板转换器），可快速实现消息的转换、处理和分析能力。...
音视频转码
转码在视频生产流程中的位置如下：功能特性 视频处理：完善的 转码 与 转封装 能力，进行丰富的媒体格式转换。音频处理：音频转码、音频抽取等。水印：支持静态图片水印、动态图片水印（如gif、mov等）和文字水印，并且支持多水印添加。更...
Table2KV
本文为您介绍如何使用Table2KV转化普通表为KV（Key:Value）格式的表。使用限制 转换后的结果表不会显示原表中的空值。您可以在结果表中指定需要保留的列，并且输出的列与原表的列一致。如果存在输入Key_map表，则转化的列为Key_map表与KV表...
概述
提供7种匹配模式（指定值匹配、前缀匹配、后缀匹配、除外匹配、数值匹配、数组匹配、复杂组合逻辑匹配）、5种规则转换器（完整事件、部分事件、常量、模板转换器、函数计算模板转换器），可快速实现消息的转换、处理和分析能力。...
概述
提供7种匹配模式（指定值匹配、前缀匹配、后缀匹配、除外匹配、数值匹配、数组匹配、复杂组合逻辑匹配）、5种规则转换器（完整事件、部分事件、常量、模板转换器、函数计算模板转换器），可快速实现消息的转换、处理和分析能力。...
文档（例如OFFICE文档）格式的转换
采用同步请求方式进行文档（例如Office文档）格式的转换，执行完毕返回转换成功的页数。接口说明 此接口已不再维护，建议使用新版（2020-09-30 版本）接口 CreateOfficeConversionTask。关于新版与旧版 API 的对比，请参见 新旧版本使用...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型...
变更表类型及拆分规则（DRDS模式）
PolarDB-X 新增支持变更表的类型（即在单表、拆分表和广播表三者间进行相互转换），和变更拆分表的拆分规则（包括拆分函数或拆分列）。本文介绍相关语法和示例，本语法仅适用于DRDS模式数据库。前提条件 仅内核小版本为5.4.8或以上的 ...
函数总览
ip_makenet 将单个IP地址转换为CIDR地址块。ip_to_format 将输入的CIDR地址块按照Prefixlen或者Netmask格式输出。ip_overlaps 判断两个网段是否存在重叠。ip2long 将字符串格式的IP地址转换成长整型数据。long2ip 将长整型数据转换成字符串...
关键词
顺序无关 转换参数中键值对是与顺序无关的，即“120w_120h_90Q”和“90Q_120w_120h”都能获取到所需的图片，系统会按照本规范定义的顺序重新排序参数后处理。由于参数的顺序不同有时会表达不同的语义，例如100w_100h_2x表示先缩放到100*100...
无锁结构变更
背景信息 为解决变更数据库表结构时的锁表问题，ODC V4.2.0 版本提供了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务。本文档旨在介绍如何通过提交无锁变更工单实现数据库无锁结构变更。ODC 支持的在线结构变更 分类 操作 ...
客户端连接示例
常见问题 报错 指定的转换无效。(Micosoft.SqlServer.ConnectionInfo)如何处理？原因：Babelfish还没有完全兼容SQL Server的所有系统表，因此不支持在 对象资源管理器 中创建连接。解决办法：请使用 文件(F)>新建(N)>数据库引擎查询 方式...
导出开源引擎任务
转换逻辑 Azkaban与DataWorks转换项的对应关系及逻辑说明如下。Azkaban转换项 DataWorks转换项 说明 Flow 数据开发（DataStudio）的业务流程 Flow里的Job作为节点会放至Flow对应的业务流程目录下。嵌套Flow的内部Flow也会单独转换为一个...
组件参考：所有组件汇总
KV2Table 该组件可以将KV（Key:Value）格式的表转换为普通表格式。Table2KV 该组件分为可分化方式和PAI命令方式，可以转化普通表为KV（Key:Value）格式的表。特征工程 特征重要性过滤 特征重要性过滤组件为线性特征重要性、GBDT特征重要性...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
为了提取数据表中的数据，需要构建数据表的检索索引表，支持自由指定表名（需满足数据库规范），本文以 schema_index 为例，构建检索索引表的SQL语句如下：/*创建数据库表索引*/*polar4ai*/CREATE TABLE schema_index(id integer,table_...
通过Kafka写入数据
步骤三：在流引擎中提交计算任务 示例计算任务的具体实现如下：创建名为log_to_lindorm的Flink Job，并在Flink Job中创建两张表：originalData（Source表）和lindorm_log_table（Sink表），分别关联已创建的Kafka Topic和结果表log。...
配置源库信息
流表 维表 转换格式 当 节点类型 选择为 流表 时，需要选择转换格式。Upsert流 Append-Only流 库表选择 选择需要转换的库表。说明 当您完成库表的选择时，系统自动进入 输出字段 页面。根据实际需要，在 输出字段 页签的 列名称 列，勾选...
- 产品推荐
- 这些文档可能帮助您