配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
功能特性
普通数据变更 无锁数据变更 可以将单个SQL拆分成多个批次执行，能更好地满足业务方变更大量表数据且不锁表的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。无锁数据变更概览 无锁变更 ...
企业版产品系列
一写多读 PolarDB 采用分布式集群架构，一个 集群版 集群包含一个主节点和最多15个只读节点（可以只包含一个主节点），多个数据库节点构成数据库引擎层。主节点处理读写请求，只读节点仅处理读请求。主节点和只读节点之间采用Active-Active...
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
ModifyAuditLogFilter-修改实例审计日志的采集类型
dds-bp12c5b040dc*Filter string 是 设置审计日志的采集类型，多个采集类型请用英文逗号分隔。admin：运维管控操作。slow：慢日志。query：查询操作。insert：插入操作。update：更新操作。delete：删除操作。command：协议命令。例如 ...
常见问题
主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。支持的数据库 请参见 迁移方案概览。请参见 同步方案概览。支持的数据库部署位置（接入方式）阿里云实例 有...
权限管理
数据采集 功能权限 功能权限名称 权限说明 数据采集_埋点验证访问 可以访问「数据采集-埋点验证」，使用埋点验证功能并可以查看验证报告 注意：必须要有至少一个「数据采集」的“数据权限”才能正常访问。数据权限 数据权限名称 权限说明 ...
最佳实践
数据采集 IoT/嵌入式日志 通过WebTracking采集日志 搭建移动端日志直传服务 采集公网数据 多渠道数据 通过Logtail采集Zabbix数据 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 投递CDN实时日志到SLS来分析用户...
功能发布记录（2023年）
2023.12.15 所有地域 所有DataWorks用户 StarRocks数据源 StarRocks节点 SQL查询 配置数据源 元数据采集 DataWorks on EMR Serverless StarRocks最佳实践 新增适配多个E-MapReduce Hadoop集群版本 DataWorks新增适配十余种E-MapReduce ...
基本概念
一个集群可以有一个物理数据库和多个逻辑数据库。物理库 物理库，是数据库在物理存储设备上的物理表示和存储方式，包括数据文件、日志文件、索引文件等。创建 AnalyticDB for MySQL 集群时，会自动创建一个物理库。每一个物理库被切分为...
V3.3.41版本说明
V3.3.41中，自动化营销支持通过 阿里云Quick Tracking 数据采集获取实时行为事件，智能实验室的品牌高潜预测、商品匹配推荐分别成为独立模块并更名为复购预测、货品推荐，此外，还对功能、交互进行了多项优化升级。发布时间 2021年12月16日...
执行补数据并查看补数据实例（旧版）
如需对该任务的多个不连续的时间段补数据，可单击 添加多段业务日期，配置多个时间段。当 业务日期 晚于当前日期，可选择 立即运行定时时间大于此刻的补数据实例，后续当实际时间大于配置的 业务日期 时，平台会立即运行该补数据实例。例如...
添加数据
批量删除：在数据列表，选中一个或者多个目标数据，单击页面左下角的 批量删除，批量删除数据。发布服务 在数据列表，单击目标数据 操作 列的 发布，发布添加的数据，详细操作，请参见 发布服务。查看服务 在数据列表，单击目标数据 操作 ...
纠删码
它能通过一定的算法将k个原始数据块计算出m个冗余数据块，只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4，m=2 时，在存储效率上等价于1.5副本，并可以允许最多2个数据块损坏。因此纠删码相比于多副本，可以...
CREATE TABLE
本文介绍创建时空数据表的语法。语法 create_table_statement:=CREATE TABLE[IF NOT EXISTS]...创建由多个空间数据类型（Geometry）的列组成的表。CREATE TABLE mix(gid INT,pt GEOMETRY(POINT),ply GEOMETRY(POLYGON),PRIMARY KEY(gid));
执行补数据并查看补数据实例（新版）
补数据方式 描述 适用场景 手动选择 选择一个或多个任务作为根任务，可基于根任务手动选择将其下游任务作为本次补数据的任务范围，支持指定部分下游节点。说明 兼容原 当前节点、当前节点及下游节点、高级模式 等补数据方案。最大支持同时...
东软案例
目前，东软在全球拥有近20000名员工，在中国建立了覆盖60多个城市的研发、销售及服务网络，在美国、日本、欧洲等地设有子公司。此外，东软连续四次入选普华永道“全球软件百强企业”，还曾荣获最具全球竞争力中国公司20强、中国50强全球...
术语
全球数据库网络（Global Database Network）全球数据库网络（GDN）是由分布在全球不同地域的多个 PolarDB 数据库集群组成的一张网络。网络中所有集群的数据保持同步，完全一致。更多详情，请参见 创建与删除全球数据库网络。主集群...
创建多物理表服务单元
多物理表服务单元用于关联多个物理表，并对关联后的字段进行元数据配置。后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的...
技术原理
分布式线性扩展 PolarDB-X将数据表以水平分区的方式，分布在多个存储节点（DN）中。数据分区方式由分区函数决定，PolarDB-X支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，...
Elastic Agent采集NetFlow日志数据
Fleet Agent 轻量级数据采集代理，负责采集源端数据。Fleet Agent可以在多个操作系统上运行，并且可以收集多种类型的数据。Fleet Server 负责将Agent采集的源端数据传输到Elasticsearch。准备环境 创建阿里云Elasticsearch实例，具体操作请...
概述
DataWorks为您提供了多个实验教程，帮助您从前期的环境准备、数据采集，到后期的数据开发、结果展示，端到端了解DataWorks使用的全流程，更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下：简单开发应用教程 简单用户画像分析...
Elastic Agent采集Nginx日志数据
Fleet Agent 轻量级数据采集代理，负责采集源端数据。Fleet Agent可以在多个操作系统上运行，并且可以收集多种类型的数据。Fleet Server 负责将Agent采集的源端数据传输到Elasticsearch。准备环境 创建阿里云Elasticsearch实例。具体操作，...
深度解析Lindorm搜索索引（SearchIndex）特性
索引引擎 由多个节点组成的分布式Lucene集群，数据按照Hash或者Range来划分为多个Shard，对外提供全文检索能力。索引存储 索引数据存储在分布式文件系统Lindorm DFS上，存算分离的架构具有极好的扩展性，同时存储层的透明压缩和智能冷热...
采集-IoT/嵌入式日志
下载与使用 下载地址：Github 一个应用可创建多个Producer，每个Producer可包含多个Client，每个Client可单独配置目的地址、日志级别、是否本地调试、缓存大小、自定义标识、topic等信息。详细安装方式及操作步骤，请参见 README。性能测试...
常见问题
售前常见问题 产品计费常见问题 数据采集常见问题 数据存储常见问题 查询与分析常见问题 数据加工常见问题 消费与投递常见问题 售前常见问题 什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据...
如何设计宽表主键
相同的主键在Lindorm中被认为是同一条数据的多个版本，查询时默认返回最新版本的数据，所以通常主键都需要保证唯一，除非用到多版本特性。最佳设计示例：主键可以是一列，也可以是多列的组合。每个主键表示一条记录。[userid]：表示主键...
如何支持超大事务
在分布式数据库中，超大事务一般满足以下条件中的一个或多个：事务修改的数据涉及多个分片；事务修改的数据量比较大；事务执行的SQL语句比较多。下面通过以下场景的测试，以这三个维度为切入点，介绍 PolarDB-X 对超大事务的支持情况。测试...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
同时，数据传输支持将多个 OceanBase 数据库 Oracle 租户的表数据汇聚至 Oracle 数据库的同一张表中，其中无需结构迁移，只需要进行全量迁移和增量同步。该汇聚同步功能的使用限制如下：对于全量迁移和增量同步，源端有的列，目标端必须有...
实现原理
数据采集：通过安装在机器上的 Agent 采集监控数据，这部分可以是日志，也可以是通过各种方式获取到的指标。数据清洗：将采集得到的非结构化的数据，解析为监控系统可以处理的结构化信息。这部分解析能力需要是事先通过监控系统预设好的...
采集-多渠道数据
不同网络环境下的数据采集 LogHub在各Region提供访问点，每个Region提供三种方式接入：内网（经典网络）：本Region内服务访问，带宽链路质量好（推荐）。公网（经典网络）：可以被任意访问，访问速度取决于链路质量、传输安全保障建议使用...
什么是日志服务
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。基本概念 在使用日志服务前，您需要了解以下基本概念。术语 说明 项目（Project）项目是日志服务...
机器组简介
背景信息 日志服务支持通过一个 Logtail采集配置 来采集多台服务器上的数据，这些服务器可以组成一个单独的 机器组，也可以组成多个独立的 机器组。通过将 Logtail采集配置 应用到指定的 机器组，日志服务会将该采集配置下发至机器组内的...
对接DataV
具体操作，请参见 数据采集。已创建索引。具体操作，请参见 创建索引。背景信息 实时大屏广泛应用于大型在线促销活动。实时大屏基于流式计算架构，该架构包含以下模块：数据采集：将来自各源头数据实时采集。中间存储：利用类Kafka Queue...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
名词解释
聚合（Aggregation）：当同一个度量（Metric）的查询有多条时间线产生（多个指标采集设备），那么为了将空间的多维数据展现为成同一条时间线，需要进行合并计算，例如，当选定了某个城市某个城区的污染指数时，通常将各个环境监测点的指标...
日志采集器相关问题
答：推荐使用多个采集器托管一个 VPC 集群内的机器，尤其是在大集群中。安装完采集器之后，采集器所占用的带宽是否计费？答：由于我们使用的是内网带宽，阿里云不会把这一部分流量计入账单的。选择安装采集器的机器是否必须安装 EDAS Agent...
调用链采样配置最佳实践
下图是由ARMS调用链分析功能呈现的可视化调用链路，对于一条完整调用链路，通常用Trace来表示，一个Trace描述一次请求在（多个）服务中经过的路径。继续细分，每个路径均可称为Span，Span代表一个过程，它可以是一次RPC调用、中间件调用，...
基本概念
交互大盘可通过不同类型的图表展示多个数据集。交互大盘的查询时间区间可自定义。[回到顶部]S 数据集 关于监控任务中所采集日志的预聚合和持久化存储方式的定义。数据集可以直接定义，也可以通过交互大盘控件和报警通知间接定义。数据集...
采集MySQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持MySQL数据库的查询结果。...
- 产品推荐
- 这些文档可能帮助您