MapReduce常见问题
FAILED:ODPS-0123144:Fuxi job failed-WorkerRestar 产生原因：出现上述报错，是因为集群的备节点在计算的过程中出现超时的情况，导致主节点认为备节点故障，所以报错。超时10分钟，即会报错，暂时不支持用户自行配置。解决措施 这个报错...
社区兼容版集群垂直变配和水平扩缩容
检测失败原因有以下两种：缺失唯一的分布式表：表示本地表没有创建分布式表，需要再创建一个对应的分布式表。对应的分布式表不唯一：表示本地表有不止一个分布式表，请删除多余的分布式表，仅保留一个即可。在 变配 或 降配 页面，根据您的...
Hash Clustering
哈希聚簇（Hash Clustering）表通过设置表的Shuffle和Sort属性，进而MaxCompute根据数据已有的存储特性，优化执行计划，提高效率，节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。背景信息 在MaxCompute查询中，连接...
应用场景
场景一：面向大中型企业的多地容灾高可用网络架构 当本地数据中心的关键业务对可用性要求极高时，建议在多个接入点建立专线连接，该拓扑确保了因光纤切断、设备故障或接入点位置故障导致的连接故障的恢复能力。自主申请专线和共享合作伙伴...
Hologres SQL语句的常见问题
报错：ERROR:Currently materialized view does not support aggregate on expressions,only support single column 问题原因：单表物化视图不支持表达式，从而导致报错。解决方法：单表物化视图不使用表达式，详情请参见 实时物化视图...
通过元数据发现导入至湖仓版
oss:/adb/Table2/year/month/day/file3.json oss:/adb/Table2/year/month/day/file4.json oss:/adb/映射到 AnalyticDB MySQL 的表为分区表，表名为 Table2，分区字段为 partition_0、partition_1 和 partition_2。说明 由于没有分区键，...
MySQL分库分表同步至Hologres（方案1.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
以太网接口无法接通
本文介绍以太网接口没有接通的可能原因和处理方法。问题现象 以太网接口没有接通（物理上）。...如果检查出光纤故障，请尝试更换光纤，如果更换光纤故障依然存在，请尝试更换两端接口光模块。检查本端和对端设备硬件是否故障。
光模块故障
本文介绍光模块发生故障的原因和处理方法。问题现象 光模块连接后，接口指示灯没有变为绿色。可能原因 光模块不兼容或损坏。智能接入网关设备支持的光模块型号请参见 光模块型号。说明 目前仅SAG-1000设备支持光模块插入。解决方案 通用多...
MySQL分库分表同步至Hologres（方案2.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
设备和交换机之间的链路故障
本文介绍SAG-1000设备发生设备和交换机之间链路故障的原因和处理方法。问题现象 设备和交换机接口之间ping不通。设备的Web端口配置页，端口前的状态灯为红色。动态路由OSPF接入时，Web端口配置页，端口前的状态灯为红色。设备的Web状态查询...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
安装Proxima CE包
输入表格式要求 表名 输入表的表名不能包含 tmp_字符串，否则会导致任务运行失败。输入表的表名和分区名的字符长度不能超过64，否则会导致任务运行失败。字段 固定字段 字段说明 字段数据类型 pk 查询时的pk值字段。默认为STRING类型。对于...
Hologres整库周期性增全量同步至MaxCompute
结构迁移中包含目标表的创建方式（已有表/自动建表），如果是自动建表，则会为您展示建表的DDL。全量同步中包含离线同步的表信息、同步的进度、以及写入的条数。增量同步中包含周期任务对应的最新周期实例的相关指标信息。任务重跑 直接重...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
结构迁移中包含目标表的创建方式（已有表/自动建表），如果是自动建表，则会为您展示建表的DDL。全量同步中包含离线同步的表信息、同步的进度、以及写入的条数。增量同步中包含周期任务对应的最新周期实例的相关指标信息。任务重跑 直接重...
一键实时同步至MaxCompute
映射规则包括 源表名和目标表名转换规则 和 目标表名规则：源表名和目标表名转换规则：源端表名支持通过正则表达式转换为目标端最终写入的表名。示例1：将源端doc_前缀的表数据，写入前缀为pre_的目标表中。示例2：将多张表数据写入到一张...
一键实时同步至MaxCompute
映射规则包括 源表名和目标表名转换规则 和 目标表名规则：源表名和目标表名转换规则：源端表名支持通过正则表达式转换为目标端最终写入的表名。示例1：将源端doc_前缀的表数据，写入前缀为pre_的目标表中。示例2：将多张表数据写入到一张...
导出数据
本文将为您介绍如何导出表结构、SQL查询结果集、整个数据库。前提条件 数据库关联的安全规则已开启 结果集是否支持导出 规则（系统默认开启）。更多信息，请参见 SQL窗口-关系型数据库。具有目标数据库的查询、导出等权限。更多信息，请...
提交节点报错：当前节点依赖的父节点输出名不存在
可能原因2：有节点产出该表数据，但是该表没有添加为该节点的输出 可能原因 出现此种情况的另外一个可能的原因是：有节点产出该表数据，但是该表没有添加为该节点的输出。对于大部分场景，DataWorks可通过自动解析，自动将产出表添加为节点...
配置示例：MaxCompute
配置分区表达式 数据质量通过分区表达式来确定需要配置的规则：如果您的检查对象为非分区表，可以配置分区表达式为 NOTAPARTITIONTABLE。如果您的检查对象为分区表，可以配置为业务日期的表达式（例如$[yyyymmdd-1]）。说明 数据质量规则中...
流控规则参数说明
目前已支持下面的表达式：表达式 说明 备注 args0 当前参数的值 无 args0.name 参数的name属性 会翻译成Java语句：arg.getName()。args0.isEnabled()参数的enabled属性，是一个bool类型。Java规范里，bool类型的getter格式是 isXXX()。args...
表分区
分区可以使用表继承来实现，这能够带来一些声明式分区不支持的特性，例如：对声明式分区来说，分区必须具有和分区表正好相同的列集合，而在表继承中，子表可以有父表中没有出现过的额外列。表继承允许多继承。声明式分区仅支持范围、列表...
Spark SQL
同样的,建表语句必须显式指定表的存储 LOCATION 信息,类似如下SQL语句。CREATE TABLE table1(col1 INT)LOCATION 'oss:/test/db1/table1/';需要注意以下几个事项：当用户在Spark中DROP一个表或者表的某个 PARTITION 时，并不会删除OSS上的...
概述
SELECT 命令的一般语法是[WITH with_queries]SELECT select_list FROM table_expression[sort_specification]下面几个小节描述选择列表、表表达式和排序声明的细节。WITH 查询等高级特性将在最后讨论。一个简单类型的查询的形式：SELECT*...
离线同步能力说明
示例：创建一个离线同步任务，每天从源MySQL订单表中同步前一天新产生的订单数据到MaxCompute目标表的当天分区，原表订单的创建时间字段为 gmd_created,目标odps表的分区字段为 ds，可以将任务配置如下：同步任务配置：调度参数配置：订单...
全增量实时同步至Hologres
如上图所示，使用 源端表名 将源端表名作为目标表名称，并且将源端表名中符合 t_order.*正则表达式的表数据写入到Hologres名为 t_order 表中。应用目标schema名与表名映射规则。选中待同步的所有表，单击 批量修改>目标Schema名映射自定义 ...
无法连接Windows实例
故障原因 可能是网卡驱动未开启或网卡配置有问题。解决方法 使用管理终端 登录实例，检查网卡驱动，如果存在异常，则重新安装。步骤三：检查重置实例密码后是否未重启实例 确认是否存在故障现象，如果存在，则参考本步骤解决问题，如果不...
逻辑表表达式
本文介绍在新建逻辑表时，输入逻辑表表达式的规则。简单规则 规则 举例说明 自然序 test_[0-7]：创建8张表。自然对齐序 test_[00-07]：创建8张表，表名两位对齐。test_[000-007]：创建8张表，表名三位对齐。test_[0000-0007]：创建8张表，...
功能概述
数据库发生故障后，无法在发生故障时定位到原因，可以通过智能压测功能，在克隆库上复现故障场景，定位故障原因。功能架构 智能压测的功能架构如下图所示：源数据库：将要进行大促、将要业务变更或者已经发生故障，需要进行流量捕获的数据...
使用Tapdata Cloud导入MySQL数据
按正则表达式匹配：使用正则表达式匹配满足表达式的表作为要复制的表。使用此方式时，当源库中新增的表满足表达式时，该表也会被自动同步到目标库。批量读取条数 全量同步时，每批次读取的记录条数，默认为100。单击Tablestore数据库，预览...
功能特性
此外，在数据库实例发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。智能压测 搜索分析 查询并导出SQL语句对应的日志信息。搜索 SQL洞察 SQL洞察聚类分析，用作深度异常的排查。SQL洞察 安全审计 内置了...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
表批读写
与不指定路径的内部表不同，当您使用DROP表时，不会删除外部表的文件 如果运行CREATE TABLE的位置已经包含使用Delta Lake存储的数据，Delta Lake将执行以下操作：如果只指定表名和位置，例如：SQL%sql CREATE TABLE events USING DELTA ...
什么是消息演练
随着应用规模的扩大，系统变得越来越复杂，不可避免地会走向分布式化。各种中间组件会相继被引入系统，其中分布式消息服务更是系统中必不可少的一...需要注意的是演练场景仅是组件表象，其内部故障原因可能是多种多样的，需要进一步进行分析。
INSERT ON CONFLICT(UPSERT)
常用表达式 b=excluded.b，或者(a,b,c)=ROW(excluded.*)简化表达，等式左侧表示要被更新的字段，等式右侧表示插入的表达式，即values部分的值，或者select表达式，excluded 是对插入表达式的别名，不是写入源头表的别名。例如，column_name...
选择列表
简介 如前面的小节说明的那样，在 SELECT 命令里的表表达式构造了一个中间的虚拟表，方法可能有组合表、视图、消除行、分组等等。这个表最后被选择列表传递下去处理。选择列表判断中间表的哪个 列 是实际输出。选择列表项 最简单的选择列表...
DQL操作常见问题
对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的物理存储量是表A的10倍，是什么原因造成的？使用GROUP BY分组查询100亿条数据会不会影响性能？GROUP BY对数据量有没有限制？ORDER BY MaxCompute查询得到的数据是根据什么排序的？...
设计方案
基于稳定性支柱设计原则，整体稳定性设计方案可参考如下：架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构，到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构，再到服务细分通过轻量级的通信机制...
ALTER PARTITION TABLE
不要求与父表一致：即对应的属性分区子表可以与父表不一致，如果子表没有显式指定属性，则会继承父表的属性，若是子表显式指定属性，则会保留子表的属性。索引列必须包含父表的索引列：即分区子表的索引列必须包含父表的索引列，还能显式再...
- 产品推荐
- 这些文档可能帮助您