PolarDB PostgreSQL版间的迁移
其他限制 全量数据初始化时将占用源库和目标库一定的读写资源，会导致数据库的负载上升，因此在执行数据同步前需评估源库和目标库的性能，建议在业务低峰期执行数据同步。全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，...
集群管理常见问题
EMR Doctor仅采集必要的事件数据，例如任务启动时间、终止时间、Metrics数据和Counters数据等。EMR Doctor收费吗？当前是不收取任何费用的。采集操作会对任务的运行会产生什么影响？EMR Doctor存储元数据采集会根据用户资源动态调整采集的...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
产品系列
在数仓版的能力基础上，从数据的采集、存储、计算和应用等方面做了全面的升级。提供将源端数据实时同步到湖（Hudi on OSS）或仓（C-Store）的可视化配置能力。通过底层存储的一份全量数据，来支持离线和在线两种场景，避免因数据同步产生的...
可观测概述
在Service Mesh中实现可观测性，涉及了日志、监控指标、链路追踪这些可观测性数据的生成规则配置和采集配置，以及如何将这些可观测数据采集到云托管服务或者自建服务中。同时，还需要考虑如何支持针对网格代理与网关Pod分别定义采集配置，...
功能使用常见问题
大数据计算服务（Open Data Processing Service，简称ODPS）由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。阿里巴巴的数据业务都运行在ODPS上。ODPS的产品详情页：...
SDK参考概述
日志服务SDK已经实现日志服务大部分功能，包括日志采集、创建索引、查询和分析、数据加工、日志消费、日志投递管理、告警、定时SQL等。若您在SDK调试中发现未实现功能，建议您升级到最新版本SDK重试或关注后续SDK版本更新。使用日志服务SDK...
设备风险SDK Android接入
增加隐私数据采集开关，不采集NO_IDENTIFY_DEVICE_DATA类型数据，多选使用｜进行拼接。Map,String>options=new HashMap();options.put("DataType",String.valueOf(NO_IDENTIFY_DEVICE_DATA));通过设备风险SDK采集信息，信息采集接口需要在...
采集ACK服务日志
可选：首次进入 Beats数据采集中心 页面，需要在服务授权对话框中查看提示信息，无误后单击 确认，授权系统创建服务关联角色。说明 Beats采集不同数据源中的数据时，依赖于服务关联角色以及角色规则。使用过程中请勿删除服务关联角色，否则...
SQL洞察
注意事项 SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS 企业版 设置的存储时长小于等于90天，则SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长以DAS 企业版 设置的存储时长为准...
常见问题
数据迁移和数据同步的区别如下表所示：对比项 数据迁移 数据同步 适用场景 主要用于上云迁移，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备...
从采集到分析-TSDB For InfluxDB®让你的数据产生价值
了解我们-TSDB For InfluxDB® TSDB For InfluxDB®是一款专门处理高写入和查询负载的时序数据库，用于存储大规模的时序数据并进行实时分析，包括来自DevOps监控、应用指标和IoT传感器上的数据。它的主要特点如下：专为时间序列数据量身订...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
什么是Dataphin
管理中心 全局规划 基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义业务板块、数据域、项目、数据源、计算源和统计周期。数仓规划 数据引入 基于...
稳定性测试
为了测试软件在长时间运行下的稳定性和可靠性，需要对软件系统进行性能测试和压力测试，保证软件的运行的可靠性。创建稳定性测试任务 在移动测试平台创建稳定性测试任务前，需事先准备好安装测试包。创建稳定性测试任务的流程如下：选择...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构...其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
创建导出任务
背景信息 阿里云日志服务提供了从各种云产品进行日志采集并深度处理的完善服务，TSDB支持从日志服务导入日志记录，并映射为时间点进行时序存储。前提条件 用户需要同时购买阿里云日志服务和TSDB服务。日志服务和TSDB必须在同一个区域，目前...
搜索（审计）
数据库自治服务DAS 提供搜索（审计）功能，查询并导出SQL语句对应的各种信息，本文介绍如何在SQL洞察和审计中使用搜索功能。重要 如果您开通了DAS企业版 V3，搜索功能将更名为审计功能。前提条件 已在DAS中接入对应的数据库实例，并且接入...
大数据安全治理的难点
您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题，才能有效落地数据安全治理。同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理...
DAS Auto Scaling弹性能力
DAS Auto Scaling实现了一套完整的数据闭环，如下图所示：在该数据闭环中，包含性能采集模块、决策中心、算法模型、规格建议模块、管控执行模块和任务跟踪模块，各模块的具体功能如下：性能采集模块负责对实例进行实时性能数据采集，涉及...
阿里云Elasticsearch数据采集解决方案
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
C100售后支持相关问题
本文介绍了您在使用C100系列数据库审计服务时可能遇到的问题和解决方案，帮助您更好地理解和使用产品。安装Agent相关问题 通过云助手安装的Agent，Agent安装目录是什么？通过云助手安装的Agent，Agent的日志目录是什么？安装Agent时，系统...
配置学区地图轮播列表交互
本文档为您介绍当单击 轮播列表 组件时，切换展示对应学校在地图上的位置信息和数据的方法。背景信息 需要实现的交互：当单击用来展示学校排名的 轮播列表 组件内的某一行时，在 地图 组件上定位该学校位置，并通过 散点层 子组件返回该...
技术架构选型
其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','...
常见问题及错误排查
常见问题 为什么在关闭采集前修改日志存储天数不生效（例如您想要关闭SLB 7层访问日志的采集并将存储天数修改为1天以清除存量日志，但是修改后发现存储天数仍为180天）？在关闭采集前修改日志存储天数，您需要先保存存储天数的修改，然后...
什么是实时日志
在借助 CDN 访问图片、文字或视频资源时，CDN 会产生大量的日志数据，并对这些日志数据进行实时采集。阿里云 CDN 通过与日志服务融合，将采集到的实时日志实时推送至日志服务（简称SLS），并进行日志分析。通过日志的实时分析，您可以快速...
RDS MySQL只读实例同步延迟原因与处理
主实例的DDL语句执行时间较长 只读实例和主实例数据同步是串行进行的，如果DDL操作在主实例操作的表过大，执行时间很长，或者执行大量慢查询，则会产生大量的临时表，将导致磁盘容量不足和磁盘IO增加，从而导致同步延迟。常见操作例如...
RDS MySQL只读实例同步延迟原因与处理
主实例的DDL语句执行时间较长 只读实例和主实例数据同步是串行进行的，如果DDL操作在主实例操作的表过大，执行时间很长，或者执行大量慢查询，则会产生大量的临时表，将导致磁盘容量不足和磁盘IO增加，从而导致同步延迟。常见操作例如...
自动SQL限流
解读 整体流程：监控指标采集：在阿里云申请的RDS实例默认开启主机和引擎的性能指标采集，包括CPU，IOPS，QPS，活跃会话等，这些实时数据是后续所有分析和处理的基础。异常检测：该模块通过机器学习对实例历史性能数据进行离线训练获得相关...
Tunnel命令常见问题
Tunnel Upload命令支持上传海量数据，如果出现内存溢出，可能是因为数据的行分隔符和列分隔符设置错误，导致整个文本被认为是同一条数据，全部缓存至内存中，导致内存溢出报错。这种情况下可以先用少量的数据进行测试，当-td 及-fd 调试...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
App端性能体验功能说明
版本范围：在当前筛选条件下，该崩溃发生的版本范围 处理状态：该错误的处理状态，支持设置状态包括未修复、处理中、已忽略、已修复 告警设置：您可以对单个错误进行告警设置，在该位置添加的告警可在监控告警中修改和设置.标签：支持对...
内网DNS日志
内网DNS日志 应用场景 出于合规和安全性的考虑，公司通常要求对网络日志进行存储和分析。通过内网DNS日志，可以清晰了解企业内网域名的使用情况，帮助企业对内网用户行为进行审计，及时发现潜在的安全问题。什么是内网DNS日志 内网DNS日志...
为什么在控制台看不到数据？
gRPC上报方式报错 如果是数据是通过gRPC方式上报，可以观察控制台或者日志文件中打印的gRPC返回状态码，状态码的含义请参见 gRPC状态码定义。常见的报错排查方式如下：上报超时 报错信息：Failed to export spans.The request could not be...
为什么在控制台看不到数据？
gRPC上报方式报错 如果是数据是通过gRPC方式上报，可以观察控制台或者日志文件中打印的gRPC返回状态码，状态码的含义请参见 gRPC状态码定义。常见的报错排查方式如下：上报超时 报错信息：Failed to export spans.The request could not be...
Logtail基本问题
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集详情。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
基于GitHub公开事件数据集的离线实时一体化实践
降低系统复杂度：减少数据管理和处理的复杂度，使数据管理和处理更加简单和高效。提高数据应用价值：更加充分地发挥数据的应用价值，为企业提供更好的决策支持。阿里云在此方向上进行了诸多方案设计，推出了化繁为简的实时离线一体化数仓，...
- 产品推荐
- 这些文档可能帮助您