回刷设备数据
本文介绍如何使用数据服务的回刷功能，获取设备历史上报数据。您可以通过回刷功能 从产品维度进行数据回刷。应用场景 以下场景，可使用数据服务的回刷功能，获取设备历史上报数据。开启设备数据备份后，需要获取开启备份时间之前设备上报的...
非持久设置
不需要将数据刷入磁盘。关闭 synchronous_commit；可能不需要在每次提交时强制把 WAL 写入磁盘。这种设置可能会在_数据库_崩溃时带来事务丢失的风险（但是没有数据破坏）。关闭 full_page_writes；不需要警惕部分页面写入。增加 max_wal_...
常见问题
请先执行 flush 操作将数据刷写至磁盘上，再执行 compaction 操作，即可将数据存储至冷存储中。compaction 操作说明如下：HBase Shell使用方式，请执行 major_compact 命令。Lindorm-cli连接使用方式，使用语法请参见 ALTER TABLE。Q：为...
如何重刷数据
通过重刷数据功能，您可以重新触发一段时间区间内的实例，来重刷业务数据。重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和...
如何重刷数据
通过重刷数据功能，您可以重新触发一段时间区间内的实例，来重刷业务数据。重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和...
如何重刷数据
通过重刷数据功能，您可以重新触发一段时间区间内的实例，来重刷业务数据。重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和...
如何重刷数据
通过重刷数据功能，您可以重新触发一段时间区间内的实例，来重刷业务数据。重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和...
如何重刷数据
通过重刷数据功能，您可以重新触发一段时间区间内的实例，来重刷业务数据。重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和...
如何重刷数据
通过重刷数据功能，您可以重新触发一段时间区间内的实例，来重刷业务数据。重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和...
冷热分离
说明 如果数据还没有进入冷存储，有可能数据还在内存中，请执行flush，将数据刷写到盘上，再请执行major_compact完成后再查看。优先查询热数据 在范围查询（Scan）场景下，查询的数据可能横跨冷热区，比如查询一个用户的所有订单、聊天记录...
OpenAPI列表
会进行数据回刷：影响历史数据 会进行节点的数据回刷，造成计算费用以及存储费用。GetPhysicalNode 查询物理调度节点。GetPhysicalNodeByOutput 根据输出名查询物理节点。仅支持离线代码节点及集成任务节点。GetPhysicalNodeContent 查询...
离线数仓构建流程概述
步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：开发原子指标 步骤四：开发业务限定 步骤五：开发指标 运维补数据 对任务进行数据回刷，包括管道任务、维度逻辑表、事实逻辑表以及指标。步骤七：运维补数据 验证数据 您可以通过...
离线数仓构建流程概述
步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：开发原子指标 步骤四：开发业务限定 步骤五：开发指标 运维补数据 对任务进行数据回刷，包括管道任务、维度逻辑表、事实逻辑表以及指标。步骤七：运维补数据 验证数据 您可以通过...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
指标回刷
物联网数据服务的衍生指标数据为非实时数据，您可通过指标回刷功能，回刷历史数据，快速获取衍生指标数据。本文介绍如何创建指标回刷任务。说明 衍生指标数据的生成日期为T+1日。其中，T指物联网平台接收的设备原始数据的日期。创建回刷...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
缓冲区管理
刷脏控制 为了避免只读节点读取到未来页，PolarDB 引入刷脏控制功能，即在主节点将数据页写入共享存储时，判断所有只读节点是否均已回放到该数据页最近一次修改的对应的WAL日志。主节点Buffer Pool中的数据页，根据是否包含未来数据（即...
日志位点监控
说明 该参数值设置的是默认启动的并行刷脏进程的数据，PolarDB 会根据主备延迟情况，动态启停一些并行刷脏进程，可能存在的并行刷脏进程为min(2*polar_parallel_bgwriter_workers,16)。polar_parallel_bgwriter_delay：并行刷脏进程每轮刷...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据源管理常见问题
说明 如果接口数据需要被所有网站使用，您可以使用通配符*。数据库类问题 如何配置数据库数据源？在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源...
数据源管理常见问题
说明 如果接口数据需要被所有网站使用，您可以使用通配符*。数据库类问题 如何配置数据库数据源？在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源...
PolarDB PostgreSQL版架构介绍
基于Shared-Storage，主节点和多个只读节点共享一份存储数据，主节点刷脏不能再按照传统的刷脏方式，否则会导致以下问题：只读节点在存储中读取的页面，可能是比较老的版本，不符合当前的状态。只读节点读取到的页面比自身内存中想要的数据...
- 产品推荐
- 这些文档可能帮助您