HCI超融合
健壮（Strong）稳定且高效的系统架构设计：拥有全异步的后台架构，进程内微服务架构，无锁架构，无状态服务架构，一致性哈希环，保证系统架构的高效稳定。目前已实现：单管理节点管理上万台物理主机、数十万台云主机；而多个管理节点构建的...
数据集成概述
使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步数据必须抽象为结构化数据）的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
2023-08-21版本
加强了Tair的企业级数据结构的更全面支持，您可以使用Flink+TairTs实时构建时序数据集，使用Flink+TairVector构建AI向量数据集，也可以通过Flink+TairCpc进行实时风控应用构建，或者采用Flink+TairRoaring实现实时客户画像系统。...
容量规划
容量规划是指根据业务需求和系统性能，包括用户量、数据量、并发量等指标，合理规划和配置系统集群资源，以满足系统扩展、用户增长和负载增加的需求。通过容量规划可以确定系统能够承载的最大用户量和并发请求量，并提前预防系统资源不足和...
实时分析链路数据
调用链分析是实时的进行全量数据扫描与统计，查询性能开销要远大于预聚合统计指标，所以不适合进行高并发的告警查询。需要结合自定义指标功能将后聚合分析语句下推至客户端进行自定义指标统计，以便支持告警与大盘定制。结合自定义标签埋点...
Hologres推荐的数仓分层
适用场景：数据来源于数据库和埋点系统，对QPS和实时性均有要求，适合80%实时数仓场景使用，能满足大部分业务场景需求。实时数仓场景三：增量数据实时统计 增量计算的场景是因为一些场景对数据延迟非常敏感，数据产生的时候必须完成加工，...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
数据转发到DataHub
通过物联网平台云产品流转功能将设备数据流转到数据总线DataHub后，用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线DataHub的流式数据（例如再流转至实时计算、MaxCompute等服务中），产出各种实时的数据处理结果，例如实时...
2022-03-04版本
在本次新版本中，我们对于该需求进行了以下增强：在消费JSON前，可以根据JSON的Schema进行表结构的设定。在后续持续消费时，如果JSON的Schema发生变化，后端Hologres表的Schema也会根据此变化而变化。管理Hologres Catalog Hologres结果表 ...
概览
实时计算Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于Apache Flink构建的企业级高性能的实时大数据处理系统。Hologres与Flink深度连通，支持实时写入Flink的数据，可以实时查询写入的...
功能概览
生产站点和容灾站点部署在不同的地域，提供容灾即服务，RPO低至1分钟、RTO低至15分钟的高可靠的业务持续性保障，有效避免了地域性灾害导致的系统故障。更多信息，请参见 跨地域容灾。跨可用区容灾 当生产站点因为不可抗力因素（比如机房...
跨地域容灾
生产站点和容灾站点部署在不同的地域，提供容灾即服务，RPO低至1分钟、RTO低至15分钟的高可靠的业务持续性保障，有效避免了地域性灾害导致的系统故障。本文介绍跨地域容灾的操作步骤。前提条件 在实现跨地域容灾之前，您需要选择一个不同于...
基于GitHub公开事件数据集的离线实时一体化实践
Flink是强大的流式计算引擎，Hologres支持数据实时写入与更新、写入即可查，二者原生集成，支持高吞吐、低延时、有模型、高质量的实时数仓开发，最终满足业务洞察实时性需求，如最新事件提取、热点事件分析等场景。离线链路：通过...
监控指标说明
指标 详情 sourceIdleTime 该指标反映Source是否有闲置，如果该指标较大，说明您的数据在外部系统中的产生速率较低。currentFetchEventTimeLag和currentEmitEventTimeLag 均反映了Flink当前处理的延迟，您可以通过两个指标的差值（即数据在...
备份
实时数仓Hologres支持自动周期备份和手动备份，以便您在某些场景下，例如数据误操作时，恢复历史数据。另外您也可用于通过快照恢复一个相同的实例，用于业务上线前的测试验证，相当于克隆实例。本文为您介绍Hologres备份的相关操作。注意...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
配置自动调优
常见的外部系统问题如下：数据总线DataHub分区不足或消息队列RocketMQ吞吐量不足。Sink性能问题。云数据库RDS死锁。智能调优和定时调优都支持基础模式和专家模式。注意事项 任何模式的调优使作业重启时，会导致作业短暂停止数据。说明 VVR ...
ARMS告警精细管理最佳实践
本文介绍ARMS告警管理如何应对大规模系统的告警配置。背景知识 在告警管理中有一个非常重要的指标Mean Time To Contain（MTTC），MTTC描述了从检测到故障事件到控制和解决该事件所需的平均时间。它是一个关键指标，因为它衡量了一个组织对...
2022-09-19版本
受益于该增强能力，您可以将较复杂的DataStream作业简化为SQL作业，提升开发效率的同时可以更轻松地整合进数据治理的血缘系统中。最后本次发布还引入了若干CEP Metrics，可以观察到CEP规则的匹配详细指标。其他的优化包含在性能优化上，...
DescribeFileSystems-查询文件系统信息
包括：通用型 NAS：Capacity（容量型）、Performance（性能型）极速型 NAS：standard（标准型）、advance（高级型）CPFS：advance_100（100 MB/s/TiB 基线）、advance_200（200 MB/s/TiB 基线）说明 仅中国站支持 CPFS 文件系统。...
DescribeFileSystems-查询文件系统信息
包括：通用型 NAS：Capacity（容量型）、Performance（性能型）极速型 NAS：standard（标准型）、advance（高级型）CPFS：advance_100（100 MB/s/TiB 基线）、advance_200（200 MB/s/TiB 基线）说明 仅中国站支持 CPFS 文件系统。...
功能特性
实时数仓 Hologres 功能集 功能 功能描述 参考文档 计算 SQL开发 兼容PostgreSQL语法，支持完整的DDL、DML等能力，提供多种数据类型和函数，可标准的SQL开发，上手成本低。CREATE TABLE 数据类型汇总 PostgreSQL兼容函数 扩展函数 DML...
性能压测
性能压测是通过模拟大量并发用户访问系统，测试系统在高负载情况下的性能和稳定性。通过性能压测可以发现系统的性能瓶颈，评估系统的承载能力，并提前发现系统的性能问题和潜在风险，并为系统的容量规划和性能优化提供参考。其实施方案主要...
实时发布简介
实时发布服务（Mobile Delivery Service，简称 MDS）是 mPaaS 平台的核心基础服务组件之一，提供版本升级包、热修复包、H5 离线包的管理和发布服务，同时支持 开关配置、白名单、发布规则 管理功能。在客户端集成实时发布服务功能后，您...
实践教程概览
使用GROMACS进行分子动力学模拟 GROMACS是一款通用软件，用于对具有数百万颗粒子的系统进行基于牛顿运动方程的分子动力学模拟，主要用于生物化学分子，如蛋白质、脂质等具有多种复杂键合相互作用的核酸分析。本教程以GROMACS软件为例介绍...
2023-04-13版本
角色授权 支持网络探测能力 支持您通过输入IP或者域名的方式检测Flink作业运行的环境与您的上下游系统是否联通。暂无 支持自定义Catalog 通过Catalog的方式注册元数据后，在创建SQL的时候不需要再频繁使用DDL创建临时表，实时计算控制台...
首页信息屏
系统时钟获取（SNTP网络对时）在界面左上角显示的就是当前的系统时间，HaaS EDU K1本身没有带RTC芯片，所以不能自动保存时间。那么如何获取准确的时间呢？这里就需要用到SNTP协议，SNTP是基于NTP协议的。SNTP协议 简单网络时间协议（Simple...
区间检测
有助于团队及时调整资源分配，避免潜在的系统崩溃。应用连接池分析：可以利用此功能来监控查询速度、并发连接数等关键指标。当线程的某些指标超出正常范围，系统会自动触发异常事件，及时优化程序性能。微服务架构监测：在微服务架构中，...
附录 2 等级保护简介
数据备份恢复 应提供异地实时备份功能，利用通信网络将重要数据实时备份至备份场地。表 6.条款解读与应对政策 条款解读 应对政策 应用是具体业务的直接实现，不具有网络和系统相对标准化的特点。大部分应用本身的身份鉴别、访问控制和操作...
监控数据与计量数据
传统型负载均衡CLB提供监控服务，对出入流量、连接数等进行实时监控。监控数据和账单计量数据之间会存在一些差别，本文从不同维度解释了这些差别。因素 监控数据 账单数据 计算生成方式 监控流量数据是由负载均衡系统按照每1分钟一个采集...
事件总线系统权限策略参考
本文描述事件总线支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
查看同步任务
DataConnector支持系统 目标系统 时效性 是否支持vpc 描述 MaxCompute（ODPS）准实时，通常情况5分钟延迟 No 同步Topic中流式数据到离线MaxCompute表，字段类型名称需一一对应，且DataHub中必须包含一列（或多列）MaxCompute表中分区列对应...
管理挂载点
挂载点是NAS文件系统在网络环境中的连接点，以域名形式出现。创建文件系统后，您需要为文件系统添加挂载点，然后通过挂载点方式挂载访问NAS文件系统。本文介绍如何在NAS控制台上管理挂载点，包括添加挂载点、查看挂载点地址、移除挂载点、...
基本概念
本文介绍 事件总线EventBridge 使用过程中遇到的常用名词的基本概念和简要描述。CloudEvents 1.0 用标准方式描述事件数据的开源规范，旨在简化事件声明以及跨服务、跨平台的消息投递。以下是CloudEvents 1.0中涉及的术语。更多信息，请参见...
工作队列
其次，当某些实时性要求较高的任务中，需要进行较繁重钩子处理时，可以将其处理函数挂在workqueue中，其执行过程将位于workqueue的上下文，而不会占用原有任务的处理资源。另外，workqueue还提供了work的延时处理机制，用户可以选择立即...
应用场景
数据处理 在很多领域，如股市走向分析、气象数据测控、网站用户行为分析，由于数据产生快、实时性强且量大，您很难统一采集这些数据并将其入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。与传统架构不同，云消息队列 Kafka ...
浙商证券
截至 2020 年底，公司总资产 911 亿元，净资产 193 亿元，百余家分支机构遍布全国 22 个省份，服务覆盖珠三角、长三角和环渤海三大经济区，在全国最活跃的省份打下了综合投融资服务的基石，形成全国性财富管理网络布局。业务挑战 随着...
安全体系概述
阿里云致力于为您提供稳定、可靠、安全、合规的云计算服务，帮助您保护您系统及数据的机密性、完整性、可用性。本文介绍了专有网络VPC（Virtual Private Cloud）的安全体系、提供的安全能力和安全管控运作机制。安全体系 专有网络原理 专有...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，...相关背景知识 什么是实时计算？什么是流数据？实时计算与批量计算相比存在哪些差异？
- 产品推荐
- 这些文档可能帮助您