租户设置
资源使用说明 总的处理单元规格数和总的质量规则数与客户购买的数据处理单元和规则配额有关。详情请参见 查看资源使用情况。新建租户 使用超级管理员或系统管理员账号，登录元仓租户。在Dataphin首页，单击顶部菜单栏的 管理中心。在 管理...
典型场景
在线高性能查询 面对任意维度数据即时探索和数据实时入库更新等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：高吞吐数据写入及更新（如INSERT、UPDATE、DELETE）。行存储及多种索引（如B-tree、Bitmap），点查询毫秒级...
采集Windows事件日志
您可以通过Logtail插件采集Windows事件日志。本文介绍如何通过日志服务控制台创建Logtail配置采集Windows事件日志。前提条件 已在服务器上安装Windows Logtail 1.0.0.0及以上版本。具体操作，请参见 安装Logtail（Windows系统）。目标...
接入Logstash
Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样的形式分散或集中地存储在多个系统中，Logstash支持多种数据输入方式，可以在同一时间从多种数据源采集数据。Logstash能够以连续的...
实验介绍
实操该实验后，可在DataWorks独立完成数据采集、数据开发和任务运维等数据岗位常见任务。实验时长 采用在线学习的方式，预计耗时1小时。实验费用 本案例运行可能会产生一定的费用。为避免产生过多费用，本案例在创建相关表时，生命周期 已...
连接方式概述
ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...
产品概述
产品为客户提供资产建模、数据采集、数据分析、设备监控和数据分析五大产品能力：资产建模：定义设备资产标准模型，管理设备资产数据 提供设备资产全维度数据建模工具 快速构建实体资产数据模型 对设备资产进行全生命周期管理 为数据应用...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
代码模板
2.代码生成 上述描述的都为代码模板的管理和创建，最终使用代码模板生成埋点代码的位置在「数据采集-埋点管理-事件/属性/方案管理中。您在事件管理、方案管理和属性管理的全局属性与用户属性中，勾选您需要埋点的事件和属性。点击「埋点...
如何处理Tair集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
如何处理Redis集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
应用场景
在本地处理采集的数据后，先将数据上传至阿里云MaxCompute，再使用大数据训练模型后，对发电参数，如风向灵敏度、启动延时参数等做优化。将模型转化为算法或者规则导入本地边缘节点，自动调整风电机组参数，提高机组发电性能。特点：数据...
节点类型说明
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
开启数据采集功能
CloudLens for PolarDB支持一键开启数据采集功能，用于采集PolarDB MySQL集群的审计日志、慢查询日志、错误日志和性能指标。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建PolarDB MySQL集群。具体操作，请参见 购买按量...
播放数据统计常见问题
由于采集、处理方式的不同，目前点播视频的播放数据统计和流量统计都有一定的时间延迟，且延迟时间不一致。因此您在查询最新数据时，看到的播放次数和流量数据在同一时间可能无法完全匹配。在查询大于延迟时间窗口的历史数据时（如查询前一...
什么是阿里云Logstash
Elasticsearch作为实时分布式搜索和分析引擎，Logstash提供了数据采集、转换、优化和输出的能力，Kibana提供了强大的可视化界面，可以被广泛应用于实时日志处理、全文搜索和数据分析等领域。Logstash数据传输原理 数据采集与输入：Logstash...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
什么是云原生多模数据库Lindorm
产品介绍 Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库，支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理，并兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多种标准接口和...
实时同步能力说明
您可以对输入的数据源进行 数据过滤、字符串替换 和 数据脱敏 处理，再将处理后的数据输出至目标数据库。数据过滤：可以对数据进行规则过滤，例如过滤字段的大小等，符合规则的数据才会被保留。字符串替换：可以通过字符串替换节点替换字符...
公共节点
流式类型 Blink Blink节点运行于Blink云计算资源之上，支持对DataHub Service、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB PostgreSQL和ApsaraDB for RDS类型的数据源进行处理，具体操作，请参见 新建Blink类型的公共节点。...
元数据采集
周期采集：在配置目标数据源的元数据采集器后，您无需手动触发，系统会按照配置的采集计划周期性进行元数据的采集和更新。移除元数据采集器 支持您在 已采集列表 页面找到目标数据源单击 操作 列的 移除，移除当前数据源的元数据采集器。...
功能更新动态（2022年之前）
系统支持记住最近一次访问的列表（管道脚本、规范建模和数据处理）。管理发布任务 业务板块 系统支持最多设置10位业务板块管理员。创建数据板块 2020年7月 功能名称 功能描述 发布时间 发布地域 相关文档 基础研发版 基础研发版的定价及...
DataWorks on EMR Serverless StarRocks最佳实践
数据服务概述 数据地图 DataWorks的数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。数据地图概述 前提...
文档更新动态（2022年之前）
系统支持记住最近一次访问的列表（管道脚本、规范建模和数据处理）。通用功能 管理发布任务 2020-09-17 业务板块 功能拓展 系统支持最多设置10位业务板块管理员。通用功能 创建数据板块 2020年07月 时间 特性名称 类别 描述 使用范围 产品...
SQL周期性采集
在 创建周期性采集项目 面板，输入项目名和数据库类型，单击 上传，将本地采集的out/data.zip上传。单击 创建。单击目标项目号右侧 操作 列中的 详情，查看采集结果。说明 您可以点击目标SQL的 查看 按钮，查看具体SQL错误信息的分析情况。
概述
高性能版Spark全密态计算引擎密钥处理机制 数据加密 在数据加密过程中，高性能版Spark全密态计算引擎会从应用配置中获取用户主密钥（MEK），并为每个列或文件随机生成密钥加密密钥（KEK）和数据密钥（DEK）。其中，密钥加密密钥（KEK）用于...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
MapReduce
MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先执行Map阶段，再执行Reduce阶段。Map和Reduce的处理逻辑由用户自定义实现，但要符合MapReduce框架的约定。MapReduce处理数据的完整流程如下：输入数据：对文本...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
快速入门
通过各个组件 及服务 的结合，阿里云Elasticsearch可以应用于实时日志处理、全文搜索和数据分析等领域。更多产品相关信息，请参见 什么是阿里云Elasticsearch。产品使用 Elasticsearch Elasticsearch作为实时分布式搜索和分析引擎，可以...
数据血缘
背景信息 DataWorks数据地图是在元数据基础上提供的企业数据目录管理模块，提供元数据详情查看、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据，详情请参见 数据地图概述。使用限制 仅Hologres V1.1及以上...
设备协议
其中：数据转化协议和数据采集协议可以有绑定关系，但是并不强制。一个数据采集协议可以有多个数据转化协议，一个数据转化协议只有一个数据采集协议。您可根据您的设备及型号选择相关协议，实现设备数据的自动化处理。设备协议界面如下图所...
投递RDS MySQL日志到日志服务
说明 CloudLens for RDS方式和接入数据-RDS审计方式中的采集配置是互通的。日志审计服务中的RDS SQL审计日志采集配置为独立的采集渠道，不受另外两种采集方式影响。CloudLens for RDS 入口：在日志服务控制台首页的 日志应用 区域的 审计与...
服务器数据采集方案概述
针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案进行了汇总。相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和...
安全基线检查
处置资产配置风险 数据安全中心提供了从不同角度查看和处理配置风险的入口。不同页面和不同方式查看到的风险数据是一致的，您可以根据实际需要选择合适的方式。重要 建议您及时处置检测出的配置风险，避免不当配置造成数据泄露或其他不安全...
选择网络
公网：使用公网传输日志数据，不仅会受到网络带宽的限制，还可能会因网络抖动、延迟、丢包等影响数据采集的速度和稳定性。全球加速：利用阿里云CDN边缘节点进行日志采集加速，相对公网采集在网络延迟、稳定性上具有很大优势。重要 全球加速...
A/B测试报表
由搜索直接引导的对商品进行点赞的次数 每点赞一次记1 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 衡量搜索召回、排序效果和引导点赞效果 点赞转化率 点赞行为的转化率 点赞数/搜索PV 依赖开通数据采集功能，...
数据地图
DataWorks数据地图是在元数据基础上提供的企业数据目录管理模块，元数据详情查看、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用Hologres数据。本文为您介绍如何在数据地图中配置Hologres元数据采集器及相关...
- 产品推荐
- 这些文档可能帮助您