产品架构
流引擎 LindormStream 是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，兼容Kafka API和Flink SQL，帮助业务基于Lindorm快速构建基于流式数据的处理和应用。LindormStream内部包含流存储、流计算两大组件，通过两者的一体化...
产品架构
日志回放模块：日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步到目标实例。DTS具备日志读取模块、日志回放模块的高可用，DTS容灾系统一旦...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
功能发布记录（2024年）
您在数据开发和数据分析中执行SQL语句查询数据时，若该数据被识别为敏感数据，平台将会按照脱敏规则进行遮盖、加密等模式的脱敏展示，加强企业数据安全管控。2024.1.25 所有地域 所有DataWorks用户 数据脱敏能力概述 数据保护伞概述 数据...
产品功能
提供网络白名单功能：您可以通过设置允许访问实例的机器名单，进一步保证实例和数据的访问安全。如果一台机器在 VPC 内部，但不在设置的白名单内，则不能访问实例。TSDB 的数据存储默认采取三副本策略，充分保证数据的可用性。
构建数据仓库
数据开发：基于DataWorks进行数据全链路研发，包括数据集成、数据开发和ETL、转换及计算等开发，以及数据作业的调度、监控、告警等。DataWorks提供数据开发链路的安全管控的能力，以及基于DataWorks数据服务模块提供统一数据服务API能力。...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
概述
创建Federated表时，表定义是相同的，但是数据的物理存储是在远程服务器上处理的。Federated表由两个元素组成：具有数据库表的远程 PolarDB MySQL版 集群或社区MySQL服务器，该数据库表由表定义（存储在MySQL数据字典中）和关联表组成。...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
连接方式概述
OceanBase Connector/C 允许 C/C++ 程序以一种较为底层的方式访问 OceanBase 分布式数据库集群，以进行数据库连接、数据访问、错误处理和 Prepared Statement 处理等操作。OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立...
新建TDengine数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDengine。如果您最近使用过TDengine，也可以在 最近使用 区域选择TDengine。同时，您也可以在搜索框中，输入TDengine的关键词，快速搜索。在 新建TDengine数据源 对话框中，配置数据源的...
新建TDengine数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDengine。如果您最近使用过TDengine，也可以在 最近使用 区域选择TDengine。同时，您也可以在搜索框中，输入TDengine的关键词，快速搜索。在 新建TDengine数据源 对话框中，配置数据源的...
物联网设备数据上云存储
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通，实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案，构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下：物联网设备通过 IoT ...
引擎简介
产品优势 流引擎专注产品的云原生、高性能和易用性，致力于降低海量实时数据处理的使用门槛和成本，侧重于业务的实现而非复杂的基础设施维护。同时，流引擎也能够对现有的系统进行降本增效。实时性：支持秒级别的实时数据处理。易用性 支持...
代码智能推荐
用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：柱状图）。单击右侧配置面板中的 数据源。在 数据源 配置...
图扑案例
Lindorm 针对工业物联网数据高并发写入，实时存取等特点，创新性地融合时序、索引、宽表等多模引擎能力，为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案，大幅度降低了数据存储和存储系统运维...
选型配置说明
广泛用于日志收集和监控数据聚合等场景，支持离线或流式数据处理以及实时数据分析等。Flink、Kafka、YARN OLAP 数据分析场景，其中核心组件ClickHouse是一个面向联机分析处理（OLAP）的开源的面向列式存储的DBMS，与Hadoop和Spark相比，...
治理效果
趋势分析 趋势分析为您展示了全局的 存储 和 计算 在一定的时间周期内的数据趋势，包括 存储优化量 及 治理率、计算优化量 及 治理率 的数据趋势。趋势分析中，默认以图示①日期为基础，展示最近30天内全局的数据趋势。单击 趋势分析 后的 ...
治理效果
趋势分析 趋势分析为您展示了全局的 存储 和 计算 在一定的时间周期内的数据趋势，包括 存储优化量 及 治理率、计算优化量 及 治理率 的数据趋势。趋势分析中，默认以图示①日期为基础，展示最近30天内全局的数据趋势。单击 趋势分析 后的 ...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
概述
当应用程序使用 testAcc 连接数据库，并查询某个表中的 name、age 和 hobby 时，Proxy会将 name 和 age 列的数据进行脱敏后再返回，hobby 列的数据则未进行脱敏原样返回。Proxy会对不同类型的数据进行不同的脱敏处理，具体脱敏处理说明如下...
数据脱敏
背景信息 数据脱敏是指对某些敏感信息，例如姓名、身份证号码、手机号、固定电话、银行卡号、邮箱等个人信息，通过脱敏算法进行数据变形，以保护敏感隐私数据。概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将...
OceanBase 数据库支持版本
数据库对象（MySQL 模式）本文档为您介绍 OceanBase 数据库 MySQL 模式下所支持的数据库对象类型、存储方式和数据库对象。与 MySQL 兼容性对比 本文档主要介绍 OceanBase 数据库的 MySQL 模式与原生 MySQL 数据库的兼容性对比信息。PL 参考...
应用场景
通过内置算法规则和自定义敏感数据识别规则，对其存储的数据库类型数据以及非数据库类型文件进行整体扫描、分类、分级，并根据结果做进一步的安全防护，如细粒度访问控制、加密保存等。数据泄露检测与防护 通过智能化检测模型分析企业内外...
引擎简介
Lindorm AI引擎提供了一站式集成AI推理能力，支持通过Lindorm SQL灵活导入并部署预训练模型，对海量多模数据进行智能分析和处理。核心能力 数据不出库，一站式AI分析与处理 Lindorm AI引擎支持对存储于宽表引擎中的文本、图像和音视频等非...
数据重排
因为 ORDER BY 是全局排序，对计算性能的开销较大，而且集中在单个Reduce上排序并不能起到分布式处理的效果，所以可以通过 DISTRIBUTE BY+SORT BY 和 CLUSTER BY 两种方式来进行数据重排。注意事项 进行数据重排会占用和消耗计算资源，如果...
数据归档
OSS和读取会占用一部分内存，同时访问OSS侧数据将占用一定比例的ECS的网络带宽资源，因此需要合理调整数据转换和数据访问的速度和频率。计费 公测期间免费。开启和关闭数据归档功能 开启数据归档功能 新购实例时，在 实例购买页 开启数据...
数据迁移
MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和计算问题，有效降低企业成本。DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为...
数据服务系统配置
当您修改时长小于之前设置的时长（例如：之前设置的是30天，现在修改变成20天），保存时需再次确认是否删除统计数据存储周期变小的时间段，如下图对话框中所示的时间区间。单次查询跨度小于等于：默认是31天，维度仅支持天，支持最大数值不...
什么是图数据库GDB?
例如，在一个典型的社交网络中，常常会存在“谁认识谁，上过什么学校，常住什么地方，喜欢什么餐馆”之类的查询，传统关系型数据库对于超过3张表关联的查询十分低效难以胜任，但图数据库可轻松应对社交网络的各种复杂存储和查询场景。...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
冷热数据分层存储
为了降低数据存储成本、提高查询性能和系统资源利用率。云数据库ClickHouse 提供了冷热数据分层存储的功能。您可以根据查询频率将数据存储在不同类型的磁盘中。本文介绍如何开启冷热数据分层存储功能和设置分层存储策略。前提条件 云数据库...
术语表
P Partition（分区）分区Partition是指一张表下，根据分区字段（一个或多个字段的组合）对数据存储进行划分。如果表没有分区，数据是直接放在表所在的目录下。如果表有分区，每个分区对应表下的一个目录，数据是分别存储在不同的分区目录下...
湖仓版（3.0）计费项
计费公式：存储空间费用=热数据存储费用+冷数据存储费用 冷数据存储空间费用=冷数据存储空间单价×冷数据存储量×时长 热数据存储空间费用=热数据存储空间单价×热数据存储量×时长 查询用量：您可以在 云原生数据仓库AnalyticDB MySQL控制...
高压缩引擎（X-Engine）介绍
Engine）提供了超大存储容量，它可以同时作为多个业务历史数据的汇聚地，以方便对所有历史数据进行集中存储和管理，主要适用于如下几个场景：将 PolarDB 高压缩引擎（X-Engine）作为线下自建数据库实例的冷数据存储地，线下自建数据库包括...
导入概述
同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成一个常驻线程，不间断的从数据源（例如Kafka）中读取数据并导入到StarRocks中，详细信息请参见 ...
集群数据库监控详情
可查看如下监控数据信息：监控指标项 监控指标名 指标说明 QPS sql_all_count 租户数据库每秒处理的 SQL 语句数量，单位：times/s。查询响应时间 sql_all_rt SQL 语句平均处理耗时，单位：ms。TPS transaction_count 租户数据库每秒请求的...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
东软案例
建设效果 目前系统已经在阿里云端支撑某行业车企存储、检索从全球客户终端采集的用户数字足迹和客户体验数据，应对日活量上万客户访问监控数据采集，日均实时监控指标数据采集1.2亿元组，节约数据存储和系统维护成本达4成，建设效果如下图...
- 产品推荐
- 这些文档可能帮助您