数据源权限管理
因为被分享的数据源是一个新数据源，被分享者具备的资源组并非和原始资源组完全一致，需要单独测试连通性。分享数据源后，引用过该数据源的任务关联信息是否会被同步分享？不会。因为被分享的数据源是一个新数据源，与源数据源关联的任务无...
配置数据迁移任务
数据迁移任务可以帮助您快速地实现各种数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文以 RDS MySQL 迁移至 RDS MySQL 为例为您介绍配置数据迁移任务的流程。前提条件 已创建DTS专属...
基本概念
数据源 在使用DataV创建数据看板时，需要先指定原始数据所在的数据源。DataV支持多种类型的数据源：数据库类、文件类、API类等。如果您想了解如何添加数据源，请参见 添加数据源。画布 画布也叫画布编辑器，是DataV最主要的视觉功能区域。...
配置数据同步任务
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文以 RDS MySQL 同步至 RDS MySQL 为例为您介绍在DTS专属集群中配置数据同步任务...
搜索索引介绍
数据写入的流程如下：数据写入至Lindorm宽表引擎，原始数据记录在宽表WAL中，写入结果返回客户端。数据同步服务LTS实时监听宽表WAL，筛选出宽表WAL中带有SearchIndex的表，并将筛选的数据写入至搜索引擎。搜索引擎收到数据后实时构建倒排...
Broker Load
该功能适用的场景是当数据表中聚合列的类型均为SUM类型时，如果希望撤销某一批导入的数据，可以通过negative参数导入同一批数据，StarRocks会自动为这批数据在聚合列上数据取反，以达到消除同一批数据的功能。partition 指定待导入表的...
Elasticsearch数据源
Relational DB（实例）->Databases（数据库）->Tables（表）->Rows（一行数据）->Columns（一行数据的一列）Elasticsearch->Index->Types->Documents->Fields Elasticsearch中可以有多个索引或数据库，每个索引可以包括多个类型或表，每个...
Delta Lake概述
如果需要删除或更新数据，则需要把原始数据清理掉，然后把更新后的数据写入存储。而Delta支持数据的删除或更新。数据实时同步，CDC（Change Data Capture）：使用Delta merge功能，启动流作业，实时将上游的数据通过merge更新到Delta Lake...
搜索（审计）
在 文本分列向导 的 原始数据类型 区域，选择 分隔符号，单击 下一步。在 分隔符号 区域，选择 其他 并输入$，单击 下一步。在 数据预览 区域，可预览分列的效果。在 列数据格式 区域，选择 常规，单击 完成。常见问题 Q：为什么 RDS MySQL...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
使用OSS Foreign Table进行数据湖分析
本文介绍如何使用OSS Foreign Table（OSS外表，简称OSS FDW）导入OSS中的数据并进行数据分析。...容错机制 OSS FDW通过 log_errors 和 segment_reject_limit 参数提供容错功能，原始数据中的错误数据不会导致OSS外表扫描停止。关于 log_errors...
名词解释
降采样（Downsampling）：当查询的时间区间跨度较长而原始数据时间精度较细时，为了满足业务需求的场景、提升查询效率，就会降低数据的查询展现精度，这就叫做降采样，比如按秒采集一年的数据，按照天级别查询展现。数据时效（Data’s ...
冷热分层
基于Tablestore的通道服务，原始数据可以利用变更数据捕获CDC（Change Data Capture）技术写入多种存储组件中。示例 本示例结合Tablestore和Delta Lake，进行数据的冷热分层。实时流式投递。创建数据源表。数据源表是原始订单表OrderSource...
导入概述
背景信息 数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到StarRocks中，方便查询使用。StarRocks提供了多种导入方式，您可以根据数据量大小或导入频率等要求选择最适合自己业务需求的导入方式。StarRocks导入方式与各数据源...
名词解释
TTL 〇 〇 TTL（Time To Live）用于设置数据的有效期，即数据可以在数据库中存储的时间。在宽表引擎中支持为多级别的对象设置TTL，例如Database、Table等。在时序引擎中仅支持为Database设置TTL。COMPACTION 〇 〇 Compaction（数据压缩）...
数据模型
降采样（Downsample）查询时间区间跨度较长，且原始数据采样频率较高时，可通过降采样降低数据的查询展现精度，例如按秒采集的数据，查询时按小时级别采样，减少结果集的数据点数。插值（Interpolation）时间线中间缺失部分数据点时，可...
高压缩引擎（X-Engine）介绍
200 TB的存储空间加上X-Engine数据压缩能力，可提供500 TB以上的原始数据存储容量，同时存储空间采用Serverless方式，购买时无需选择容量，随着数据增长而在线自动扩容，只按实际数据量大小收费。PolarDB 高压缩引擎（X-Engine）与官方...
基于Delta lake的一站式数据湖构建与分析实战
数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统SLS、NoSQL存储HBase、消息数据库Kafka等。其中大部分的在线存储都面向在线事务型业务，并不适合在线分析的场景，所以需要将数据以无侵入的方式同步至成本...
数据查询
Lindorm时序引擎提供标准的SQL查询能力、PromQL查询能力、TSDB兼容的查询能力。本文介绍时序数据查询的方法。...预降采样是一种降低数据精度的方法，预降采样后的数据和原始数据存储在同一张表中，查询时无需查询不同的数据表。
简介
架构说明：原始数据采用OSS高性价比存储，冷热分离。影像数据库采用SQL+NoSQL构建时空序列影像，容量无上限，存储与计算分离，极致弹性。原生提供基于“分块”理念的数据存储和组织方式，保留原始像元信息，有效支撑各类分析计算场景。与...
C100售前支持相关问题
审计数据可以通过控制台进行备份，备份的数据存储在对象存储OSS中。存储空间已经清空，为何控制台还是显示存储空间满？SLS清除数据任务一般会有1至2小时的延迟，可以在清空存储空间两小时后确认空间是否已清空。数据库审计和其他产品的区别...
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
数据导入Serverless实例
大量数据从HBase集群导入Serverless集群 由于Serverless实例的写入受到购买CU数的限制，如果大量的数据直接通过API写入Serverless实例可能会花费过多时间和消耗过多CU（根据购买CU量的多少，几十GB，几百GB，或者上TB的数据可以定义为大量...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
某历史养成类游戏开发公司实时计算和数据仓库方案
3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到数据汇总层。数据汇总层的数据供后续的复杂分析；4）应用数据层：直接对外提供数据查询服务（基于Lindorm SQL服务）支撑上层大数据风控...
DLF数据探索快速入门-淘宝用户行为分析
数据内容如下：4.3 数据预处理 我们对原始数据进行一定的处理，已提高数据的可读性，并提高分析的性能。将behavior_type修改成更好理解的字符串信息；将日志+时间的格式打平到两个单独的列，再加上周信息，便于分别做日期和小时级别的分析...
DataV地图边界和自定义弹窗介绍
区域下钻自定义边界（自定义边界）自定义区域下钻层 子组件需要下钻到镇一级或者自己定义的边界时，通过在 DataV.GeoAtlas 进行设置，使用对应的API接口或静态数据替换原始自定义topojson数据接口数据就可以实现该需求。具体操作步骤请参见...
数据库代理常见问题
如果您在使用RDS MySQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
DLA Lakehouse实时入湖
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义；分析数据湖数据，实现数仓的应用。本文以RDS MySQL数据源为例介绍了RDS ...如果您在数据源RDS中变更了原始数据，在 Serverless Presto>SQL执行 页面进行查询时，数据会同步进行更新。
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
概述
下图展示了集中式的数据在分布式形态下，如何利用 Online DDL 的能力需进行分布：原始业务的多个单表，可以继续保持单表的形态，演进为分布式的垂直拆分，通过扩展单个存储池内的分布式节点后，可以实现多个单表在存储池多DN节点上的均衡...
一键实时同步至MaxCompute
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
一键实时同步至MaxCompute
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置迁移任务（旧控制台）
否：不迁移Online DDL变更产生的临时表数据，只迁移源库的原始DDL数据。说明 该方案会导致目标库锁表。上述配置完成后，单击页面右下角的 预检查并启动。说明 在迁移任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动迁移...
StarRocks概述
StarRocks的物化视图能够在数据导入时自动完成汇聚，与原始表数据保持一致。查询的时候，您无需指定物化视图，StarRocks能够自动选择最优的物化视图来满足查询请求。标准SQL StarRocks支持标准的SQL语法，包括聚合、JOIN、排序、窗口函数和...
PolarDB MySQL版迁移至RDS MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至MySQL（包括自建MySQL和 RDS MySQL 实例）。支持的目标数据库 PolarDB MySQL版 除了支持迁移至 RDS MySQL 以外，还支持迁至以下类型的自建数据库。说明...
PolarDB MySQL版迁移至RDS MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至MySQL（包括自建MySQL和 RDS MySQL 实例）。支持的目标数据库 PolarDB MySQL版 除了支持迁移至 RDS MySQL 以外，还支持迁至以下类型的自建数据库。说明...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
自建MySQL迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将...否，适配DMS Online DDL：不迁移Online DDL变更产生的临时表数据，只迁移源库使用 数据管理DMS（Data Management）执行的原始DDL数据。说明 该方案会...
- 产品推荐
- 这些文档可能帮助您