冷热分离
get.setTimeRange(0,1568203111265)Scan 如果scan不设置Hot Only，或者TimeRange包含冷区时间，则会并行访问冷数据和热数据来合并结果，这是由于HBase的Scan原理决定的。Shell/不带HotOnly Hint的查询，一定会查询到冷数据 hbase(main):017...
需求阶段
数仓的最基本职责是定义和发现在企业决策中使用的信息，随着企业战略方向的改变与...确认并合并需求 数据产品经理将上一版本定稿的产品需求文档内容，与本次评审定稿的产品需求文档内容进行合并。如果两个工作日内无异议，则视为需求确认。
按时间戳冷热分离
范围查询Scan 说明 如果范围查询（Scan）不设置 HOT_ONLY 参数和 TimeRange，或 TimeRange 包含位于冷存储区的时间，则系统会并行查询冷热数据并合并结果。范围查询仅支持HBase Shell和HBase Java API使用方式。方式一：HBase Shell 不带 ...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
SQL处理优化
在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 DeltaFile 的合并以及数据历史中间状态的消除，详情可参见 TimeTravel 查询设计，从而极大影响读取效率，因此对于查询频率和效率要求比较高的业务场景，...
Logview诊断实践
解决思路：一种情况是数据分布变化导致的，我们在写表的过程中，会对数据进行压缩，而压缩算法对于重复数据的压缩率是最高的，所以如果写表的过程中，如果相同的数据都排布在一起，就可以获得很高的压缩率。写表的数据分布情况主要取决于写...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
文档修订记录
开发前准备：绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、ClickHouse计算引擎合并至数据源管理；将E-MapReduce...
【通知】2023年10月17日云数据库Cassandra退市
为了提供更全面的服务体系，聚焦满足客户需求，提供更清晰简化的使用体验，云数据库Cassandra已于2022年5月与阿里云原生多模数据库Lindorm合并，统一以“云原生多模数据库Lindorm”产品名称进行售卖，云数据库Cassandra计划于2023年10月17...
新建过滤器
数据过滤器功能 在DataV中可以使用数据过滤器，可以通过自定义JavaScript代码，实现数据结构转换、数据筛选展示和一些简单的计算。前提条件 已进入画布编辑器页面。新建过滤器 您可以通过以下两种方法新建过滤器。通过 数据过滤器 新建。在...
如何通过合并请求进行数据分发
本文以 通用标题 组件请求数据，分发给 数字翻牌器 和 多行文本 组件，完成数据更新为例，介绍如何通过合并请求进行数据分发。效果展示 使用场景 多个组件的数据可以通过API或SQL数据源等一次获取，再进行数据分发，减少数据请求次数。操作...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
合并小文件
使用案例 tbcdm.dwd_tb_log_pv_di 是数据稳定性体系识别出来的需要合并小文件的物理表，通过元数据 tbcdm.dws_rmd_merge_task_1d 提供的信息，如下图所示，可以看出此表相关分区的文件个数大部分都在1000以上，多的甚至达到7000以上，但...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
使用DataV可视化应用展示数据返回结果
数据过滤器支持使用JavaScript代码对数据结果进行二次过滤和处理，过滤器的 data 参数为API返回结果的JSON对象。本案例中，您只需要返回API结果中的 rows 数组，故需要输入代码 return data.data.rows;即可，过滤完成后可以看到数据匹配...
实现数据分发
本文以 通用标题 组件请求数据，分发给 数字翻牌器 和 多行文本 组件，完成数据更新为例，介绍如何通过合并请求进行数据分发。效果展示 使用场景 多个组件的数据可以通过API或SQL数据源等一次获取，再进行数据分发，减少数据请求次数。操作...
冷热数据分层存储
prefer_not_to_merge 冷数据盘中的数据是否进行合并。取值范围如下。true：不合并，默认值。false：合并。新增TTL分层存储策略 在默认存储策略的基础上，添加TTL语句，实现将间隔时间之前的所有数据自动转移到冷数据盘中。您可以参考如下...
数据模型
对Aggregate模型而言，指定的所有Key列数据相同的行，多行数据会进行合并，Value列按照建表时字段定义中设置的AggregationType进行预聚合，最终只保留一行数据。这意味着Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据...
合并
示例 数据库 NOAA_water_database 中的measurement的 h2o_feet 是两个序列的一部分。第一个序列由measurement h2o_feet 和tag location=coyote_creek 组成。第二个序列由measurement h2o_feet 和tag location=santa_monica 组成。以下查询...
整体架构
数据优化服务 主要由MaxCompute的Storage Service来负责智能地自动管理增量数据文件，其中包括小文件合并 Clustering、数据 COMPACTION、数据排序等优化服务。对于其中部分操作，Storage Service会根据数据特征、时序等多个维度综合评估，...
数据湖管理FAQ
围绕OSS对象存储等数据湖存储，构建上层可扩展的数据入湖能力，把Hudi、Delta等高效的对象管理格式和Parquet、ORC等对象格式，写入到数据湖中，并在写入过程中支持UPSERT、小文件合并、MVCC多版本、快照读等能力，用数仓的特性来解决单纯...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
DataWorks数据服务对接DataV最佳实践
此处支持编写JS代码对数据结果进行二次过滤和处理，过滤器的data参数为API返回结果JSON对象。本示例只需返回API结果中的rows数组，因此输入 return data.data.rows;在下方预览过滤后的结果，并单击 完成。添加过滤器后，字段便会匹配成功。...
蓝图编辑器精选案例实战
如果您想查看 如何通过合并请求进行数据分发 的详细方法，请参见：如何通过合并请求进行数据分发。如何实现跨屏联动 建立两个可视化应用的WebSocket服务，其中自建和下载DataV-WS服务包的方法请参见 自建WebSocket节点服务说明 和 下载...
管理Shard
合并Shard 当数据读写流量远达不到Shard的最大读写能力时，建议您合并Shard，降低活跃Shard租用费用。您可以通过合并操作减少Shard数量，日志服务会找到指定Shard右侧相邻的Shard，并将两个Shard合并。合并Shard只支持手动操作，无法自动...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
如何清理孤立文档
登录数据库后运行JS脚本 在 cleanupOrphaned.js 脚本所在的目录下，通过Mongo Shell连接数据库。连接实例的方法，请参见 通过Mongo Shell连接MongoDB分片集群实例。登录成功后，执行以下命令运行脚本。load("cleanupOrphaned.js")自建...
数据同步模版
分库分表合并 当同一份业务数据分散在不同的数据库或者业务表时，我们往往需要用到分库分表合并的能力，将表结构相似的分库分表的数据同步到一张目标表中。Flink CDC可以自动同步源中所有分库分表的全量和增量数据（包括新增的符合正则表达...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
处理接口
根据时间轴的特性，如果您需要时间轴变化的同时，等值面的数据也发生变化，那么可以开发一个接口或者数据库，能根据时间参数来获取不同时间段的全国各个监测站点的数据。本文档为您介绍如何使用Node.js完成接口的开发和发布（您也可以使用...
DLA Lakehouse实时入湖
在Lakehouse技术中，⾮常关键的技术就是多版本的⽂件管理协议，它提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务和多版本、小⽂件⾃动合并优化、元信息校验和⾃动进化、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
概述
其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
u dtstest-p 'Test123456' cleanupOrphaned.js 根据业务需要，在目标MongoDB实例中创建需要分片的数据库和集合，并配置数据分片，详情请参见 设置数据分片以充分利用Shard性能。说明 在配置数据迁移前配置数据分片，可避免数据被迁移至同一...
- 产品推荐
- 这些文档可能帮助您