接入Logstash
Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样...
阿里云Elasticsearch数据采集解决方案
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
通过Pod环境变量采集应用日志
name:aliyun_logs_catalina_machinegroup my-machine-group-定制需求1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
通过Pod环境变量配置应用日志采集
特殊场景1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
通过日志服务采集Kubernetes容器日志
定制需求1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
表设计最佳实践
源数据采集客户端太多时，如果源数据通过Tunnel直接进入到一个分区，则每个源数据采集客户端提交一次数据，都会在同一分区下产生一个独立的文件，从而导致大量小文件的出现。当SLS触发FunctionCompute持续高频地向MaxCompute中传入文件时，...
连接Lindorm Search和Grafana
背景信息 Grafana是一个基于Go开发的指标数据图形化展示工具，可以实时从多个插件中采集数据并以图表展示，插件包括InfluxDB/OpenTSDB/MySQL/PosgreSQL/Elasticsearch/Solr，更多信息，请参见 插件列表。步骤1：安装Grafana和插件 下载...
设备协议
一个数据采集协议可以有多个数据转化协议，一个数据转化协议只有一个数据采集协议。您可根据您的设备及型号选择相关协议，实现设备数据的自动化处理。设备协议界面如下图所示，包括“我的协议”和“协议市场”两部分内容，界面上方为您介绍...
CDH Hive数据抽样采集器
一个集群仅支持新建一个采集器，一个采集器中可以选择一个或多个需要进行数据抽样采集的数据库。选择集群后，如果不选择数据库，默认对所有数据库下的表进行数据抽样。阿里云主账号，拥有 AliyunDataWorksFullAccess 权限的子账号可以进行...
如何实现文件中的日志被采集多份
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
产品规格和定价
您购买TSDB实例将根据选择的『实例规格』和『存储空间』计算价格...那么：时间线总数=数据采集点数=10000 16=160000写入能力TPS=160000(1/20)=8000 数据点/秒 此时，可以选择购买“基础版 I”规格实例，存储空间根据实际存储的数据量来购买。
备份恢复
恢复云数据库MongoDB单个或多个数据库：您可以选择实例运行的某个时间点新建实例，将单个或多个数据库恢复到该时间点，适用于单个或多个数据库快速数据恢复的业务场景。相关文档 根据MongoDB实例类型的不同，支持的备份恢复方式不尽相同。...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
Napatech案例
云原生多模数据库 Lindorm 助力...客户价值 支持多个100G数据流量采集点的数据包元数据存储及快速索引。帮助用户实现全量数据的回溯分析。数据库架构简化、支持弹性扩容，运维难度及成本大幅减低。集成第三方大数据系统，助力业务分析。
恢复云数据库MongoDB单个或多个数据库
如果您误删了某个集合或文档，可以通过恢复云数据库MongoDB实例的单个或多个数据库进行快速数据恢复。前提条件 实例需满足以下条件：实例的创建时间：晚于2019年3月26日。实例类型：副本集实例。实例存储类型：本地盘。实例所在地域：华北1...
Elastic Agent采集自定义日志数据
Fleet是Elasticsearch中的一个功能强大的集中式管理解决方案，提供了一种简单的方法来管理Elasticsearch中的多个节点和服务。Fleet主要分为Fleet Server和Fleet Agent两部分，Fleet Agent是一个轻量级的数据采集代理，负责在源端收集数据。...
回收站列表
批量恢复表 您可以通过批量恢复表的方式，将误删除的表或期望恢复的多个数据表，恢复到原存储位置。在 回收站列表 页面，选择多个表后单击页面下方的 恢复。在 批量恢复 对话框中，单击 批量恢复。当 状态 列下均显示 成功，则多个表恢复...
回收站列表
批量恢复表 您可以通过批量恢复表的方式，将误删除的表或期望恢复的多个数据表，恢复到原存储位置。在 回收站列表 页面，选择多个表后单击页面下方的 恢复。在 批量恢复 对话框中，单击 批量恢复。当 状态 列下均显示 成功，则多个表恢复...
创建数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。创建数据库 访问 RDS...
MongoDB数据恢复方案概览
如果您的数据库小版本过期或者不在维护列表内，当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时，为保证提供更出色...
管理脱敏规则
包含：表示当前规则仅对目标数据库生效，此时右侧文本框中必须填入一个或多个数据库名称，多个名称间用英文逗号（,）分隔。表名 选填 需要应用当前规则的表名称。支持如下选项：所有表：表示当前规则对该集群中的所有表生效，此时右侧文本...
功能特性
OceanBase 数据库通过 Paxos 协议将事务日志复制到多个数据副本来保证事务的可用性和持久性。透明可扩展 OceanBase 数据库独创的总控服务和分区级负载均衡能力使系统具有极强的可扩展性，可以在线进行平滑扩容或缩容，并且在扩容后自动实现...
数据节点管理
如果需要同时变更多个数据节点的配置，选中多个数据节点，单击右上方的 批量变配 按钮。在弹框中选择数据节点的目标规格和切换方式。单击 去支付，提交变更配置操作。增加数据节点 在实例控制台上单击 数据节点管理。单击 增加节点。如果您...
管理数据
步骤一：添加数据域 添加数据域前，建议您根据业务单元或组织架构等规划需要添加的数据域名称和层级关系（最多支持创建三级数据域），然后重复执行以下步骤添加多个数据域。您也可以使用批量导入功能添加数据域。具体操作，请参见 更多操作...
MapReduce
Key值和Reduce Worker是多对一的关系，具有相同Key的数据会被发送给同一个Reduce Worker，单个Reduce Worker有可能会接收到多个Key值的数据。在进入Reduce阶段之前，MapReduce框架会对数据按照Key值排序，使得具有相同Key的数据彼此相邻。...
元数据访问控制
说明 您也可以批量选中多个数据库并单击页面上方的 访问控制，批量开启多个数据库的访问控制开关。在 元数据访问控制 对话框中，单击 确认。开启实例访问控制 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 数据资产>实例管理。单击 实例...
创建数据库账号
单击>，将数据库添加到 已授权数据库 栏中。您可以设置该账号对各个数据库的权限，可设置为 读写（DML）、只读 或 所有者。说明 拥有 所有者 权限的账号才可以在对应数据库内进行创建、删除表以及修改表结构操作。密码 设置账号密码。要求...
基本概念
ClickHouse集群（Cluster）在物理构成上，ClickHouse集群是由多个ClickHouse Server实例组成的分布式数据库。这些ClickHouse Server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
管理数据库
数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。前提条件 已创建RDS ...
术语表
内核术语 名词 描述 分布式表 按照一定的拆分规则根据拆分键将一张表中的数据拆分到多个数据库与数据表中。广播表 广播表不做拆分，且所在数据库的所有数据节点均具有该表的副本。单表 没有做拆分的表为单表。数据库模式 创建数据库时通过...
数据建模
时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间分区和冷热存储分界线。创建数据库的具体操作，请参见 CREATE DATABASE。示例 创建一个名为DB1的数据库，设置数据为不过期。...
关联数据
配置规则如下：可输入多个IP地址，多个IP地址用半角逗号（,）分隔。可输入地址范围，例如：10.1.1.10~10.1.1.20。可输入地址段，例如：10.10.*.*。备注 IP组的描述信息。导入IP组 登录数据库审计系统。具体操作，请参见 登录数据库审计系统...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
- 产品推荐
- 这些文档可能帮助您