文档更新动态（2023年）
新增表名校验功能，可校验并展示目标库中已存在的同名目标表，若存在同名表，可配置表名置换或勾选自动删除数据源同名表。同步方式优化，选择每日同步，则生成每日调度的周期任务；选择单次同步，则生成手动任务；选择每日同步和单次同步，...
功能更新动态（2023年）
新增表名校验功能，可校验并展示目标库中已存在的同名目标表，若存在同名表，可配置表名置换或勾选自动删除数据源同名表。同步方式优化，选择每日同步，则生成每日调度的周期任务；选择单次同步，则生成手动任务；选择每日同步和单次同步，...
时空数据库版本发布记录
Importer SQL 导入表名均转为小写，防止大小写出现表找不到的问题。修复OSG导入路径最后包含/导致导入失败的问题。5.X 5.8 类别 说明 新增特性 新特性 GeomGrid SQL 新增对Uber H3索引的支持。新增 H3Grid 数据类型表示h3编码。新增 ST_H3...
时空数据库版本发布记录
Importer SQL 导入表名均转为小写，防止大小写出现表找不到的问题。修复OSG导入路径最后包含/导致导入失败的问题。5.X 5.8 类别 说明 新增特性 新特性 GeomGrid SQL 新增对Uber H3索引的支持。新增 H3Grid 数据类型表示h3编码。新增 ST_H3...
用户画像分析概述
主体思路是在离线阶段把相对稳定的属性表离线聚合成宽表，将多张表的关联操作转化一张宽表的运算，新的标签列的场景通过增加列的方式实现，以表的方式提供非常灵活的标签计算，详情请参见 画像分析-标签宽表。RoaringBitmap优化方案 基于...
通过控制台使用二级索引
二级索引相当于把数据表的主键查询能力扩展到不同的列，使用二级索引能加快数据查询的效率。设置预定义列后，您可以在创建二级索引时将预定义列作为索引表的索引列或属性列。创建二级索引后，您可以使用二级索引进行数据查询。前提条件 已...
2021年
2021-11-29 华北2（北京）华东2（上海）华北3（张家口）华东1（杭州）华南1（深圳）网络开通流程 MaxCompute支持清空分区表中指定分区的数据 MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据，但不会删除分区表或者分区表...
计费问题
说明 更多计费问题，请前往 售前咨询 或搜钉钉群号23369411入群咨询专家。机器翻译欠费和延停策略是怎样的 机器翻译国内站产品按小时出账，出账后如果欠费将会立即停止服务，停机后15天释放资源。为了您使用服务的持续性和稳定性，我们提供...
2021年
对分区表使用跨机并行查询 GLOBAL INDEX支持对分区表进行DDL操作 支持在对分区表进行DDL操作时（如DROP、SPLIT、MERGE等），操作该分区表下的所有GLOBAL INDEX。支持对分区表进行DDL操作 优化 ORA_HASH函数兼容性 ORA_HASH函数替换为DBMS_...
使用数据传输迁移数据
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
云消息队列 RocketMQ 版
类别 详情 支持类型 源表和结果表 运行模式 仅支持流模式 数据格式 CSV和二进制格式 特有监控指标 源表 numRecordsIn numRecordsInPerSecond numBytesIn numBytesInPerScond currentEmitEventTimeLag currentFetchEventTimeLag ...
基础术语
本术语表按拼音首字母顺序对术语进行排序。A APK/AAB 包加固（Android）对 APK/AAB 包，整体进行安全保护，提供 APK/AAB 包防反编译保护、DEX 文件整体加壳保护、DEX 文件防篡改保护、防白盒攻击、壳加密算法保护、防调试保护、防内存篡改...
表操作篇
本文将为您提供关于表设计的最佳实践。如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 MaxCompute预置的函数类型如下。函数类型 说明 日期与时间函数 支持处理DATE、DATETIME、...
文章相似度
Simhash_Hamming，其中SimHash算法是把原始的文本映射为64位的二进制指纹，Hamming Distance则是计算二进制指纹在相同位置上不同字符的个数，支持计算距离和相似度。距离在参数中表示为 simhash_hamming。相似度=1-距离/64.0。相似度在参数...
设置消息通知
媒体处理中的任务分为同步任务和异步任务，异步任务无法实时接收到任务结果。如果您需要获取异步任务执行状态，如获取转码任务是否成功、智能审核任务是否已完成等，您可以设置消息通知监控管道或工作流内任务状态的变化情况。本文介绍在...
其他函数
函数 功能 BASE64 将二进制表示值转换为BASE64编码格式字符串。BETWEEN AND表达式 筛选满足区间条件的数据。CASE WHEN表达式 根据表达式的计算结果，灵活地返回不同的值。CAST 将表达式的结果转换为目标数据类型。COALESCE 返回参数列表中...
函数列表
配置云产品流转过程中，您可以在编写解析器脚本时使用数据类型转换函数、时间类型转换函数、基础数据类型函数和流转数据到数据目的函数等方法，实现数据多样化处理。本文介绍相关函数的表达式及其使用说明。除本文支持的函数表达式外，云...
通过文件管理优化性能
举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,10]，则对于查询条件：where x，无法跳过任何一个表文件，因此，也无法实现性能提升，而如果每个表文件的min-max均为0，...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
2022-09-19版本
实时数仓Hologres维表 Hologres Catalog支持创建表时进行表属性设置 合理的表属性设置可以有助于系统高效地组织和查询数据，在使用Hologres Catalog创建表时，支持用户在WITH参数中设置物理表属性。管理Hologres Catalog MaxCompute Sink ...
错误码说明
常见错误处理 错误码 处理方式 1000 一般为超时引起，重试后查看是否还会出现。如仍有报错，请提交工单，值班人员会尽快排查处理。2112 排序表达式中的text_relevance(field)，fieldterm_proximity(field)等文本feature中的field必须在查询...
错误码说明
常见错误处理 错误码 处理方式 1000 一般为超时引起，重试后查看是否还会出现。如仍有报错，请提交工单，值班人员会尽快排查处理。2112 排序表达式中的text_relevance(field)、fieldterm_proximity(field)等文本feature中的field必须在查询...
新建及管理动态脱敏规则
加密字典：用于加密字符的符号，支持 系统内置（包括 数字、大写英文字母、小写英文字母、数字+大写英文字母、数字+小写英文字母、数字+英文字母、特殊符号）和 自定义。Tweak：配置后可实现同一个明文使用相同密钥，在不同情况下产生不同...
新建及管理动态脱敏规则
加密字典：用于加密字符的符号，支持 系统内置（包括 数字、大写英文字母、小写英文字母、数字+大写英文字母、数字+小写英文字母、数字+英文字母、特殊符号）和 自定义。Tweak：配置后可实现同一个明文使用相同密钥，在不同情况下产生不同...
从RDS原生实时同步
如果是多张分库分表同步到一张HybridDB for MySQL目标表，点击页面下方的 批量修改表结构 进入如下页面：在左侧选择栏选中具有相同表结构的源表，在右侧输入框中输入目标表名后按回车，即可以编辑右下方的 HDB表结构 内的DDL，完成修改后，...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
使用限制
限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 表名、列名中不能有特殊字符，必须以字母开头，且只能使用英文小写字母（a-z）、英文大写字母（A-Z）、数字和下划线（_）。注释长度 1024字节 长度限制 长度不超过1024字节的...
2022年
新说明 MaxCompute Spark目前已支持访问湖仓一体外部数据源，解决从Spark更换为MaxCompute处理数据时，需要迁移Spark作业到MaxCompute的问题，降低使用成本。本文为您介绍使用MaxCompute访问外部数据源的示例。Spark访问湖仓一体外部数据源...
数据转发到表格存储（Tablestore）
设备元数据（例如设备标签、属性和状态数据）具有高频更新、查询能力要求高等特点，可用于设备管理、设备圈选、设备状态查询，需要支持高并发低延迟的数据更新、多维度检索、地理空间检索以及数据实时计算与分析。表格存储（Tablestore）的...
使用限制
表名/列名 N/A 格式限制 表名、列名中不能有特殊字符，以字母开头，且只能用英文小写字母（a-z）、英文大写字母（A-Z）、数字和下划线（_）。统计算子 最大Key数量：500W 最大内存使用：512M 数量限制 上述限制为单个统计算子。默认返回...
数据转发到云数据库RDS
如果仅需将物联网平台数据转发到数据库保存，可以通过云产品流转功能，使用脚本和函数将解析处理后的数据转发到云数据库RDS版（以下简称RDS）实例的数据库中存储。本文介绍将数据流转到数据目的地的完整流程。工作原理 云产品流转将设备的...
2024年
修复分区表Alter Table与Analyze死锁的问题。修复分区表bitmap index scan触发Out Of Memory的问题。修复gpfdist外表在使用custom format时需要识别并处理字符串中的\0x00，否则读取数据会被截断的问题。2024年01月 V6.6.2.0 类别 功能 ...
外部表概述
MaxCompute支持使用外部表功能查询和...相关文档 MaxCompute支持OSS、Hologres及RDS等多种外部表，具体请参见 OSS外部表、Tablestore外部表、Hologres外部表、RDS外部表、Paimon外部表。外部表的常见问题及解决方式请参见 外部表常见问题。
查看监控任务
详情 单击相应表名后的 详情，您可以进行 查看历史结果、问题处理 和 处理日志 等操作：单击相应规则后的 查看历史记录，即可查看每次调度后的运行记录。您可以针对当前规则的运行情况填写处理意见。操作如下：单击相应规则后的 问题处理。...
分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
管理健康报告
针对此问题，建议您：结合表的实际数据规模，科学合理地选择分区与分桶的数量，以有效避免小文件问题的发生。通过适度增大批量处理的规模，可以在提高整体数据处理吞吐量的同时，有效减少对象存储中的小文件数量。虽然Compaction能够整合...
常见问题
本文汇总了Hive使用时的常见问题。说明 对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态，如何处理？Map端是否读取...
iOS 符号表管理
移动分析支持通过符号表对 iOS App 的闪退日志进行反向解析，以便定位 App 中的问题代码，帮助提高排查、解决线上异常问题的效率，同时提供 iOS 符号表管理功能以便导入、查询符号表并进行符号表反解测试。什么是符号表 符号表是内存地址与...
Query洞察
同时可以通过Query洞察快速判断当前Query是否产生了DDL冲突，以及表锁情况，辅助业务进一步排查问题和处理问题。前提条件 存在已登录实例，请参见 登录实例。进入Query洞察 您可从HoloWeb的 诊断与优化 页面直接进入 Query洞察，也可通过...
- 产品推荐
- 这些文档可能帮助您