采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
Logtail限制说明
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
Logtail
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
区域翻牌器（v3.0以下版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数字翻牌器
本文介绍数字翻牌器全量选择时各配置项的含义。图表样式 数字翻牌器是文字组件的一种，支持自定义翻牌器的标题、数字、前缀、后缀等样式，通常与其他组件配合使用，通过交互功能在可视化应用中展示实时...案例演示 请参见 实现动态数据加和。
名词解释
另一方面是在⼀个数据中心发⽣故障或灾难的情况下，其他数据中心可以正常运行并对关键业务或全部业务实现接管，实现用户的故障无感知。两地三中心 即生产数据中心、同城灾备中心、异地灾备中心建设方案。这种模式下，两个城市的三个数据...
Android应用集成SDK
初始化采集分为两种模式：采集全量数据、采集除需授权字段外的数据（不采集涉及终端设备用户隐私的字段，包括：imei、imsi、simSerial、wifiMac、wifiList、bluetoothMac）。说明 建议您在终端用户同意App的隐私政策前，采集除需授权字段外...
跨地域容灾
说明 若受保护服务器表格未显示 故障切换/故障恢复信息 列，请单击 设置可见列 配置即可。如果检查后发现当前时间点应用运行正常，选择 更多>故障切换>确认故障切换，确认故障切换。说明 在故障切换或者切换恢复点完成，并且已经确认被容灾...
无法连接Windows实例
故障现象 无法ping通ECS实例，在排除Iptables和网卡IP配置问题且回滚系统后，仍然无法ping通。故障原因 可能是ECS实例安全组默认的公网规则被删除。解决方法 重新配置ECS实例的安全组公网规则，具体操作请参见 ECS实例安全组默认的公网规则...
日志查询
为 Web 应用防火墙 WAF（Web Application Firewall）防护对象开启日志采集后，您可以通过日志查询，对防护对象的日志数据进行查询与分析，并基于查询与分析结果生成统计图表、创建告警等。前提条件 已开启WAF日志服务。相关操作，请参见 ...
动态过滤器（Dynamic Filter）
动态分区裁剪功能生效后，MaxCompute会采集小表侧数据生成Bloom Filter，然后过滤大表侧的分区列表，再把需要读取的分区列表聚合，裁剪掉不需要扫描的分区。如果一个运行进程所有待读的分区都被裁剪了，则该进程不被调度。在上述示例中，...
修改名单抽奖数据
您还可以在组件 设置数据源 页面中，选择 数据源 类型为您自定义添加的动态数据源类型（如数据库、API等），使得数据接口获得的是整个抽奖池数据，即所有能参与抽奖的人员名单。通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平...
修改名单抽奖数据
您还可以在组件 设置数据源 页面中，选择 数据源 类型为您自定义添加的动态数据源类型（如数据库、API等），使得数据接口获得的是整个抽奖池数据，即所有能参与抽奖的人员名单。通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平...
动态过滤器（Dynamic Filter）
动态分区裁剪功能生效后，MaxCompute会采集小表侧数据生成Bloom Filter，然后过滤大表侧的分区列表，再把需要读取的分区列表聚合，裁剪掉不需要扫描的分区。如果一个运行进程所有待读的分区都被裁剪了，则该进程不被调度。在上述示例中，...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
跨可用区容灾
说明 若受保护服务器表格未显示 故障切换/故障恢复信息 列，请单击 设置可见列 配置即可。如果检查后发现当前时间点应用运行正常，选择 更多>故障切换>确认故障切换，确认故障切换。说明 在故障切换或者切换恢复点完成，并且已经确认被容灾...
Global AWR用户指南
自动负载信息库AWR（Automatic Workload Repository）是数据库收集和分析性能数据的工具。通过AWR工具，可以从数据库的动态视图等统计信息中生成某个时间段的性能报告。概述 PolarDB PostgreSQL版 的Global AWR性能报告功能，在提供数据库...
设备网络状态
请求Topic：/sys/${productKey}/${deviceName}/_thing/diag/post 响应Topic：/sys/${productKey}/${deviceName}/_thing/diag/post_reply Alink请求数据格式如下：当前数据：设备采集后立即上报的数据。以下两种情况下，设备立即上报网络...
功能概览
支持的容灾场景 容灾场景 支持类型 故障切换 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，...
功能概览
支持的容灾场景 容灾场景 支持类型 故障切换 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，...
区域图（v4.0以下版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Global AWR用户指南
自动负载信息库AWR（Automatic Workload Repository）是数据库收集和分析性能数据的工具。通过AWR工具，可以从数据库的动态视图等统计信息中生成某个时间段的性能报告。概述 PolarDB PostgreSQL版（兼容Oracle）的Global AWR性能报告功能，...
Windows实例网络访问丢包延时高的排查方法
概述 当网站访问很慢或无法访问时，若已经排除显著的问题，而使用ping命令检测到有明显丢包时，建议您做链路测试。在Windows环境中，推荐优先使用WinMTR工具，或者tracert命令行进行链路测试以判断问题来源。通常情况下，链路测试步骤如下...
Global AWR用户指南
自动负载信息库AWR（Automatic Workload Repository）是数据库收集和分析性能数据的工具。通过AWR工具，可以从数据库的动态视图等统计信息中生成某个时间段的性能报告。概述 PolarDB PostgreSQL版（兼容Oracle）的Global AWR性能报告功能，...
2023年
实时分析概述 2023年9月 功能 功能描述 相关文档 活跃查询 云原生数据仓库 AnalyticDB PostgreSQL 版 支持活跃查询，每5秒自动采集并显示活跃（Active）的查询任务，您可以根据实际需求，取消阻塞的查询任务或直接终止相关会话等。...
专线监控最佳实践
本文介绍如何通过云网管在物理空间下快速新增专线，创建并部署专线监控项，查看专线监控项数据。本文涉及的具体业务场景（场景与数据均为虚拟）如下：在某一物理空间中新增100M电信专线，为该新增专线创建PING监控项，查看其网络链路是否接...
使用ETL分析实时订单
您还可根据业务需要，借助工具实现可视化大屏，洞察动态数据。任务配置流程 警告 为确保成功配置和运行ETL任务，请您在配置前仔细阅读并遵循 前提条件 和 注意事项。步骤 说明 准备工作 将实时交易数据、业务维度数据存储在源表中，并根据...
搜索（审计）
数据库自治服务DAS 提供搜索（审计）功能，查询并导出SQL语句对应的各种信息，本文介绍如何在SQL洞察和审计中使用搜索功能。重要 如果您开通了DAS企业版 V3，搜索功能将更名为审计功能。前提条件 已在DAS中接入对应的数据库实例，并且接入...
视频
事件 事件 说明 当数据接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当播放开始时 当视频开始播放...
使用ping命令丢包或不通时的链路测试方法
当客户端访问目标服务器或负载均衡，使用ping命令测试出现丢包或网络不通时，可以通过链路测试工具进行链路测试来判断问题来源。本文介绍如何使用链路测试工具进行链路测试。链路测试流程 通常情况下，链路测试流程如下图所示。链路测试...
采集公网数据
应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka 由于Kafka不提供RESTful协议，更多是在集群内使用，因此一般需要Nginx服务器做公网代理，...
数字翻牌器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
状态卡片
事件 事件 说明 当数据请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 导入数据接口 按...
地理搜索框
图表样式 地理搜索框支持自定义搜索框和结果框大小、位置、颜色和文本样式等配置项，一般情况下需要与地图组件配合使用完成地区的搜索任务，并显示在可视化应用上。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
指标占比饼图
事件 事件 说明 当指标占比饼图接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 导入...
双11轮播列表柱状图
事件 事件 说明 当数据接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 导入数据接口 ...
执行离线评估
采集文件：您可以下载迁移评估采集器进行数据采集，采集完成后的文件将上传至云上进行评估。详情请参见 通过迁移评估采集器采集数据库对象。上传文件 单击 上传文件，选择需要评估的文件进行上传。支持上传多个文件，生成一个评估报告。...
- 产品推荐
- 这些文档可能帮助您