实时数仓Hologres使用流程
创建数据库：开通Hologres实例后，您需要新建数据库开发业务，本文为您介绍Hologres如何使用管理控制台及psql客户端创建数据库。连接开发工具：创建数据库后，您需要连接开发工具进行数据库开发和管理，本文为您介绍使用HoloWeb可视化方式...
JindoCache CLI使用说明
jindocache-load-meta-s-R数据缓存：功能说明：数据缓存命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS等后端上的数据。命令：jindocache-load-data<options><path>涉及以下参数。参数 说明可选参数...
应用场景
同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集到实时计算产品中进行分析和处理。最终，分析结果可写入不同的数据服务中，例如MaxCompute、MaxCompute-Hologres...
Apache HDFS透明缓存加速
Apache HDFS透明缓存加速可以利用计算集群的闲置存储资源对远端HDFS集群进行数据缓存，避免了计算集群或服务占用核心集群过多带宽。当HDFS集群和计算集群分离，HDFS集群访问性能不及预期时，您可以通过在计算集群或靠近计算集群的地方缓存...
数据库分析
您可以在 数据库分析 页面查看异常分析，从而了解应用的异常情况。前提条件 请在 容器服务管理控制台 的 组件管理 中确认ack-arms-cmonitor组件已升级到4.1.0及以上版本。查看数据库分析 登录 ARMS控制台，在左侧导航栏单击 应用监控 eBPF ...
缓存
缓存WVStorage的JS API提供数据缓存相关能力，例如添加缓存、删除缓存、清空缓存等。WVStorage.setItem 说明 该API只在Windvane Android 1.0.3.4以上版本有效 将数据存储在本地缓存中指定的key中。输入参数[string]key：缓存的key值。...
产品架构
云数据库SelectDB版 集群会将热数据缓存到本地，从而加速响应大量重复的SQL请求，遇到没命中缓存的SQL请求，云数据库SelectDB版 集群会从对象存储查询获取结果后再响应。存储 云数据库SelectDB版 存储，支持存算分离架构，多计算集群共享...
加速PV存储卷数据访问
time cat/data/demofile>/dev/null real 0m11.004s user 0m0.065s sys 0m3.089s 由于数据集中的数据已经全部缓存在了JindoFS缓存系统中，读取数据时将会从缓存中读取，而不是从远程存储系统中读取，从而减少了网络传输，提升了数据访问效率...
互联网行业实时BI分析
相对于传统的关系型数据库，云原生数据仓库AnalyticDB MySQL版 只需要毫秒级时间，即可实现万亿数据高并发多维实时分析。应用范围 互联网公司的网站、App以及小程序应用内BI分析场景。在线运营以及运营指标实时化分析等场景。可扩展到各类...
加速主机目录数据访问
time cat/data/demofile>/dev/null real 0m2.061s user 0m0.015s sys 0m0.581s 由于数据集中的数据已经全部缓存在了JindoFS缓存系统中，读取数据时将会从缓存中读取，而不是从远程存储器中读取，从而减少了网络传输，提升了数据访问效率。
创建Tair缓存节点账号
从 未授权数据库 列表中选择一个或多个数据库，单击 图标将其添加到 已授权数据库 列表中。在 已授权数据库 列表中，为目标数据库选择 读写、只读、仅DML、仅DDL 或 只读+索引 权限。说明 如果您需要自定义各种权限类型组合或授予某些表...
Navicat
Navicat可以在一个应用程序中连接多个数据库，帮助您轻松创建、管理和维护数据库。本文以Navicat for PostgreSQL为例，为您介绍Navicat如何连接Hologres并进行数据开发。前提条件 单击 Navicat，下载并安装Navicat客户端。开通Hologres实例...
数据库分析
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 数据库分析 页面查看数据库分析数据，从而了解数据库的调用详情。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，...
阿里云OSS/OSS-HDFS服务透明缓存加速
兼容原生OSS/OSS-HDFS存储方式，文件以对象的形式存储在OSS/OSS-HDFS上，每个文件根据实际访问情况会在本地进行缓存，提升访问OSS/OSS-HDFS的效率，同时兼容了原有OSS/OSS-HDFS文件形式，数据访问上能够与其他OSS/OSS-HDFS客户端完全兼容，...
Fast Query Cache
针对原生MySQL Query Cache的不足，阿里云进行重新设计和全新实现，推出Fast Query Cache，能够有效提高数据库查询性能。前提条件 实例版本为MySQL 5.7（内核小版本20200331或以上）。实例未开启 数据库独享代理。背景信息 查询缓存（Query...
阿里云实时数仓产品Hologres的应用场景
Hologres兼容PostgreSQL生态，是新一代的 阿里云实时数仓产品，与大数据生态无缝连接，支持实时与离线数据，对接第三方BI工具，实现可视化分析业务。本文为您介绍基于Hologres核心功能的典型应用场景。Hologres的典型应用场景如下：搭建...
DataGrip
DataGrip是一个多连接数据库开发工具，可让您在一个应用程序中连接多个数据库，帮助您快速轻松地创建、管理和维护数据库。本文为您介绍DataGrip相关产品如何连接Hologres。前提条件 已安装DataGrip客户端，如果未安装请单击 DataGrip 进行...
查看表和DB的存储大小
返回单位是Byte 参数说明 参数 说明 table_name 表示待查询的当前数据库下的表名称。返回值：返回值的单位是 Byte，类型为字符串。返回的数据为该表此刻的内存所占空间和物理磁盘空间。如果您需要提高可读性，可以使用 pg_size_pretty 函数...
限制说明
数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合存储。数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不...
管理协议服务
缓存型相比通用型，提供热点数据缓存能力。在命中缓存的情况下，缓存型协议服务的带宽可超过CPFS文件系统的带宽，达到协议服务设定的最大带宽值。通用型：为CPFS提供NFS协议访问能力和 目录级挂载点，用户无需配置POSIX客户端管理集群。该...
用户行为分析（UV）概述
解决方案与优势 Hologres是基于分析服务一体化理念（Hybrid Serving&Analytical Processing，HSAP）设计的实时数仓产品，采用分布式架构，支持数据实时写入，高并发、低延时的分析处理PB级数据，兼容PostgreSQL协议，使用最熟悉的工具就能...
实时同步常见问题
若源端数据更新快，数据量多，但同步延迟大，您可以：修改任务配置：您可以在源端数据库最大连接数许可范围内，基于同步库或表个数综合评估调整实时同步并发数。说明 并发设置上限为当前资源组支持的最大并发数。不同规格资源组支持的最大...
云存储网关
数据持久性和服务可用性 网关缓存模式采用同步IO（Sync IO）落盘，确保掉电不丢失数据。云上网关依托于阿里云云盘的高可靠性，确保了缓存盘的数据持久可靠。本地部署的网关依赖于您虚拟环境后端存储的可靠性，建议您使用RAID存储或高可靠...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
迁移方案
数据正确性验证 数据质量是实时计算数据产出对业务的重要保障，和实时计算任务日常变更一样，迁移工作也需要对新任务产出的数据质量进行验证。通常，建议您采用迁移新任务和原有任务并行双跑的方式，在新运行一段时间，满足数据对比条件后...
数据同步模版
同步方式 详情 多库多表同步 如果您需要将一个或多个数据库中的一张或多张业务数据表实时复制到另一个数据库时，则可以使用多库多表同步模版。Flink CDC可以自动同步整库的全量和增量数据，同时还能实时将每张源表的表结构变更（加列等）...
DataV-Card
在 新建数据集 页面中选择 数据库上传，单击页面右侧的 新建数据库连接。在 新建数据库连接 页面的数据库列表中选择 Hologres，配置各参数，并单击 保存并连接。参数名称 描述 Hologres 数据库连接名称 自定义名称。说明 即创建成功后存在...
ADAM概览
异构数据库迁移ADAM（Advanced Database&Application Migration）提供数据库平滑迁云解决方案，全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，覆盖数据库迁移的全生命周期，帮助企业降低数据库和应用...
实时性能
本章节介绍如何使用数据库自治服务DAS的实时性能功能。前提条件 目标数据库实例已接入DAS，并且接入状态显示为连接正常。详情请参见 实例接入。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，进入...
PSQL客户端
Database Hologres的数据库名称。开通Hologres实例后，系统自动创建 postgres 数据库。您可以使用 postgres 数据库链接Hologres，但是该数据库分配到的资源较少，开发实际业务建议您新建数据库。详情请参见 创建数据库。示例取值 mydb。...
缓存数据存储在 SSD 中还是内存中？
云数据库 Memcache 版目前仅提供缓存功能，数据存储在内存中。
迁移方案
双跑验证需要关注的详情如下：数据正确性验证 数据质量是实时计算数据产出对业务的重要保障，和实时计算任务日常变更一样，迁移工作也需要对新任务产出的数据质量进行验证。通常，建议您采用迁移新任务和原有任务并行双跑的方式，在新运行...
SmartData 3.0.x版本简介
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS，JindoTable和相关工具集。本文介绍SmartData（3.0.x）版本的更新内容。JindoFS存储优化 改进Jindo...
查询事件日志
CreateDatabase 创建数据库。CreateInstance 创建Hologres实例。CreateOrUpdateScheduledTask 修改定时任务。CreateScheduledTask 创建定时任务。DeleteBackupData 删除备份。DeleteInstance 删除Hologres实例。DeleteWhiteIPList 删除IP白...
基本概念
新建数据库请参见 CREATE DATABASE。Schema Schema是数据库对象的集合，相当于文件系统中的目录。实例中的表和函数等对象存放于各个Schema中。成功创建数据库后，系统默认创建命名为 public 的Schema，您对实例对象的所有操作默认都在该...
概述
本文主要介绍需要实时获取HBase表的数据变更场景。数据写入HBase之后，很多业务场景下需要实时获取或者订阅HBase表的数据变更。当数据被更新时，触发其他应用的业务处理，...说明 该功能只支持云数据库HBase增强版、云原生多模数据库Lindorm。
集群伸缩
如果 云数据库 SelectDB 版 集群当前的配置无法满足需求，您可以对集群配置进行变更。前提条件 已创建 云数据库 SelectDB 版 实例。云数据库 SelectDB 版 实例中存在目标集群。目标集群的状态为运行中。您的阿里云账号中没有未支付的订单。...
快速搭建实时数仓分析大屏
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
创建和管理数据缓存
数据缓存可以提前拉取业务所需数据，以便在创建ECI实例时可以直接挂载使用。本文介绍数据缓存的配置参数以及如何创建、查询、更新、拷贝和删除数据缓存。创建数据缓存 创建方式如下：OpenAPI：调用CreateDataCache接口可以创建数据缓存。更...
2024-01-04版本
jdbc及jdbc_fixed模式支持攒批去重，可以有效提高数据一致性和数据库性能、降低网络开销。实时数仓Hologres JDBC模式消费Binlog不再需要设置slotname Hologres 2.1版本开始，JDBC模式消费Binlog不再需要设置slotname。实时数仓Hologres ...
- 产品推荐
- 这些文档可能帮助您