2.0版SQL开发规范
索引失效 索引失效时，SQL语句直接以扫描的方式进行查询，如果表记录数非常大，会导致查询缓慢。以下情形容易引起索引失效：•函数转换（列）；类型转换；like条件，例如：like '%abc%'。以下SQL中的函数转换导致索引失效。time为timestamp...
数据问答最佳实践
说明 使用宽表可以减少跨表查询：如A表格主要记录学生学习成绩信息，B表格主要记录学生兴趣爱好信息，通过将A表和B表结合为宽表C，通过C表既可以查询学生信息，也可以查询学生兴趣爱好。宽表并非“越宽越好”，当表格中的列过多，对应表格...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
外部表常见问题
本文为您介绍外部表的常见问题。问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出...
基础设施安全
使用VPC的流日志功能捕获VPC网络中弹性网卡ENI（Elastic Network Interface）的传入和传出流量信息，帮助您检查访问控制规则、监控网络流量和排查网络故障。详细信息，请参见 流日志概述。网络ACL与安全组 与交换机绑定的网络ACL规则控制...
监控与日志
流日志功能 专有网络VPC提供流日志功能，可以记录VPC网络中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，帮助您检查访问控制规则、监控网络流量和排查网络故障。关于流日志的详细信息，请参见 流日志概述。创建流日志时...
设计方案
在故障应急响应中，风险预测可以作为重要参考，帮助快速识别问题的根本原因，提高故障处理效率和精度。故障响应 在发现故障后，需要快速定位问题，通常有以下做法：组织协调：故障发生后，需要迅速组织相关人员进行应急响应。组织协调包括...
日志审计
云防火墙提供网络抓包工具，支持捕获指定IP和端口的网络数据包、分析数据包内容，帮助您定位网络故障和分析攻击行为，从而识别出网络通信的安全风险。具体操作，请参见 网络抓包。为什么有来自阿里云的ICMP周期性探测流量日志？为什么流量...
Elasticsearch
Elasticsearch连接器支持的信息如下：类别 详情 支持类型 源表、维表和结果表 运行模式 批模式和流模式 数据格式 JSON 特有监控指标 源表 pendingRecords numRecordsIn numRecordsInPerSecond numBytesIn numBytesInPerSecond 维表 无 结果...
监控报警概述
实时监控提供终端用户登录云电脑的实时数据（例如用户在线数量、在线时长的前十用户、平均登录时间和云电脑网络延迟分布情况）以及相关故障预警信息，以便快速准确定位，迅速处理故障，避免因资源、网络问题或者外部操作原因造成不必要的...
网络资源
网络资源是指用于节点之间通信和数据传输的硬件和软件资源，除了包括广域网、局域网、交换机、路由器，还包括常用到的专有网络、虚拟交换机、负载均衡、弹性公网、VPN、DNS、CDN等资源。在分布式系统中，网络资源的主要作用是支持节点之间...
监控与日志
例如您可以根据通过捕获的流量信息分析带宽使用情况、排查网络故障、优化流量使用成本、分析异常流量等。云企业网流日志 流日志会在指定的捕获窗口捕获转发路由器之间的跨地域流量信息和边界路由器VBR（Virtual border router）连接的流量...
数据建模诊断
复制表合理性诊断 AnalyticDB MySQL版 在创建表时可以指定数据的分布方式为复制方式（DISTRIBUTED BY BROADCAST），复制表会在实例的每个存储节点保存一份完整的表数据，您在使用其他表和复制表JOIN时，不需要在网络间对复制表进行重分发，...
设计原则
即使设计了各种技术手段去提高系统的冗余、保持业务的高可用，但还是避免不了生产系统故障的发生，所以需要面对故障建立一个高效的故障应急流程机制和稳定的技术平台，实现故障风险实时发现、应急团队有效协同、处理过程准确记录、故障快速...
常见问题
资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
基础术语
SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件，通过统一的 traceId 将调用链路中的各种网络调用情况以日志的方式记录下来，以达到透视化网络调用的目的。这些日志可用于故障的快速发现，服务治理等。TraceID TraceId 指的是 ...
功能发布记录（2020~2021年）
新增 基于自建Spring Cloud Gateway或Zuul网关实现全链路灰度 历史发布记录 表 7.云原生网关 版本主题 核心功能 发布时间 云原生网关重磅功能升级，张家口开服 升级多服务多版本权重路由，请参见 路由方式概述。升级路由级别CORS跨域策略，...
监控、诊断和故障排除
网络故障引起丢包重试。例如客户端发起一个删除操作删除某个Object，此时请求达到服务端，执行删除成功，但是响应在网络环境中丢包，然后客户端发起重试，第二次的删除操作可能就会遇到404错误。这种由于网络问题引起的404错误可以通过客户...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
功能特性
PostGIS地理信息分析 Proxima向量计算 Oracle兼容函数 Clickhouse兼容函数 聚合函数 Hologres Binlog 支持单表级别的Binlog，用于记录表数据的修改记录。通过Hologres Binlog，实现数仓分层间的全链路实时开发，缩短数据端到端加工延迟，...
附录 2 等级保护简介
等级保护是什么 制度要求《中华人民共和国网络安全法》：“国家实行网络安全等级保护制度。网络运营者应当按照网络安全等级保护制度的要求，履行下列安全保护义务，保障网络免受干扰、破坏或者未经授权的访问，防止网络数据泄露或者被窃取...
PolarDB MySQL版间的双向同步
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。选择同步对象 无 在 源库对象 框中单击待同步的对象（选择粒度为库或表），然后单击 将其移动到 已选择对象 框。重要 如果选择整个库作为同步对象，该库...
RDS MySQL与PolarDB MySQL版间的双向同步
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中同名的表...
MySQL一键实时同步至MaxCompute
字段：目标表在原有表结构基础上，增加 execute_time 字段用于记录源端表某个记录发生变更的时间。综合如上分析结果，最终的表对应关系如下所示：源端数据库 源端待同步表 写入的目标表 目标表新增字段 doc_demo1 doc_tb1 ods_tb1 execute_...
MySQL一键实时同步至MaxCompute
字段：目标表在原有表结构基础上，增加 execute_time 字段用于记录源端表某个记录发生变更的时间。综合如上分析结果，最终的表对应关系如下所示：源端数据库 源端待同步表 写入的目标表 目标表新增字段 doc_demo1 doc_tb1 ods_tb1 execute_...
2021年
物化视图操作 2021-09-22 网络开通流程处理方式变更，从提工单变更为填写表单。更新说明 网络开通流程处理方式变更，从提工单变更为填写表单。网络开通流程 2021-09-15 新增日期函数DATE_SUB。新说明 按照指定的幅度增减天数，与DATE_ADD...
功能更新动态（2022年之前）
同时，手动任务、汇总逻辑表不再计算数据处理单元，您将以更低的成本进行逻辑研发。2021年08月19日 华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格...
Gateway API
本文介绍Gateway API组件信息、使用说明和变更记录。组件介绍 Gateway API是Kubernetes中用于对服务网络流量进行建模的一系列资源。它的目标是建立一套表现力强、易扩展、面向角色的服务网络模型。优势如下。面向角色：资源抽象与使用...
ModifyAccessKeyLeakDeal-处理AccessKey泄露记录
处理AccessKey泄露记录。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
测试指标
网络吞吐量 定义及解释 网络吞吐量是指在无网络故障的情况下单位时间内通过的网络的数据数量。单位为Byte/s。网络吞吐量指标用于衡量系统对于网络设备或链路传输能力的需求。当网络吞吐量指标接近网络设备或链路最大传输能力时，则需要考虑...
MySQL分库分表同步至Hologres（方案1.0）
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
将数据写入OSS
背景信息 与读取OSS数据类似，MaxCompute支持将内部表数据或处理外部表得到的数据写入OSS：通过内置文本或开源数据解析器将数据写入OSS 当需要将数据以CSV、TSV、开源格式或MaxCompute支持的压缩格式写入OSS时，您可以通过基于MaxCompute...
MySQL分库分表同步至Hologres（方案2.0）
为目标表添加字段并赋值 当目标Hologres表为 待建立 状态时，您可以为目标表在原有表结构基础上新增字段，用于记录源端表数据来源。基于当前案例，为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中...
网站耗资源（客户程序故障）常见问题
本文汇总了使用云虚拟主机出现网站耗资源（客户程序故障）时的常见问题。什么是网站耗资源（客户程序故障）？网站程序占用CPU及内存过多，是对资源的一种浪费。当您使用普通版共享云虚拟主机建站后，可能会因为网站程序编写不合理、代码...
Join优化
表S数据不移动，表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行...
Kafka单表实时入湖OSS（HUDI）
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与OSS表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个OSS表列，不允许多个上游列映射到一个OSS表列，当上游列未配置到OSS表列的映射时，...
Kafka实时ETL同步至Hologres
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到...
X-Engine简介
这种结构对于写入是非常友好的，只要追加到最新的内存表中即完成，为实现故障恢复，只需记录Redo Log，因为新数据不会覆盖旧版本，追加记录会形成天然的多版本结构。但是如此累积，冻结的持久化层次越来越多，会对查询产生不利的影响。例如...
接口说明
写入记录 Lindorm TSDB SDK使用Record对象表示表中的一行写入记录。Record需要指定表名、时间戳、标签和量测值。其中，时间戳和标签将用于构建索引。默认构建Record会进行字符合法性校验，可以通过在build中添加参数'false'关闭校验。...
- 产品推荐
- 这些文档可能帮助您