应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据库采集器问题
采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法执行完成），导致必须重新采集...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
什么是自动驾驶开发平台
帮助用户灵活运用未经标注的自动驾驶采集数据 加速的时空对齐场景回放支持视觉感知、点云、决策路径、地图等数据在时空对齐的情况下加速回放 良好的数据和算法兼容性兼容客户各类采集数据格式如rosbag、Cyber RT、LCM等，兼容客户云端预...
云资源监控
更重要的是，监控的过程是发现系统瓶颈的过程，监控数据是性能基线管理、容量规划甚至是高可用架构的重要基础。限制条件 目前PTS支持添加云资源监控，用于查看各项指标，更好地保证测试前提，记录相关数据，输出最终结果。如果您使用了阿里...
东软案例
企业面向客户、合作伙伴和内部员工建设IT系统及应用复杂度和数量会随着产品智能、互联化的深入持续增长，对映可用性保障运维监控采集数据采集种类，以及需要存储的数据量同步激增，现有监控系统基于RRD数据库或关系数据库搭建的单模引擎的...
客户案例
价值体现 通过统一计算引擎、统一管理及运维、打通AI及BI，提升数据利用率、做到降本增效。同时，构建自助数据分析平台，快速满足各类人员不同数据分析需求。数据体系整体上云，使用少量组件即可实现流批一体、湖仓一体，完成从数据驱动到...
小文件优化及作业诊断常见问题
Tunnel数据采集过程中产生的小文件，通过如下方式处理：调用Tunnel SDK时，当缓存达到64MB时提交一次。使用客户端时避免频繁上传小文件，建议积累较大时一次性上传。如果导入的是分区表，建议给分区设置生命周期，过期不用的数据自动清理。...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
互联网教育：尚学博志（上海）教育科技有限公司
业务挑战 尚学数字化教学解决方案基于移动终端和各类物联网设备进行广泛的数据采集，数据类型也不断扩展，涵盖了教学、学习、生活等不同方面。现有的数据库系统采用的是基于MySQL Share Nothing的部署方案，即依赖主备部署的方式提供高可用...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
通过接入中心接入数据
名词解释 环境 采集数据的链路根据其特点划分为以下三种环境：容器环境：在一个容器集群中可能存在大量的可采集的数据。因此，我们将一个容器集群对应一个容器环境。对于容器环境，Prometheus实现了自动化的管控链路，可以帮助您更智能地...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
数据库评估概览
数据库采集完成后，单击 下一步查看源库画像，单击 新建画像 上传采集的数据包进行数据库分析。具体操作，请参见 数据库画像。在 源库画像 页签，选中目标画像，单击 下一步查看目标库选型建议，查看目标库兼容情况和推荐类型。具体操作，...
CDH Hive数据抽样采集器
运行：运行采集器，根据目标采集器的配置信息采集数据。运行后，识别出的敏感字段会展示在数据保护伞页面，当您在数据保护伞中配置脱敏规则后，命中的敏感字段在数据地图中预览时将会被脱敏。停止：停止运行中的采集器。后续步骤 CDH Hive...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
动态过滤器（Dynamic Filter）
动态分区裁剪功能生效后，MaxCompute会采集小表侧数据生成Bloom Filter，然后过滤大表侧的分区列表，再把需要读取的分区列表聚合，裁剪掉不需要扫描的分区。如果一个运行进程所有待读的分区都被裁剪了，则该进程不被调度。在上述示例中，...
动态过滤器（Dynamic Filter）
动态分区裁剪功能生效后，MaxCompute会采集小表侧数据生成Bloom Filter，然后过滤大表侧的分区列表，再把需要读取的分区列表聚合，裁剪掉不需要扫描的分区。如果一个运行进程所有待读的分区都被裁剪了，则该进程不被调度。在上述示例中，...
2023年
快速体验 需求分析 采集数据 加工数据 配置数据质量监控 数据可视化展现 2023-07-31 新增MaxCompute服务不可用赔付案例说明 新说明 MaxCompute计划于北京时间2023年09月01日变更服务等级协议（SLA），为了使您更加清楚新版SLA协议中各项...
概述
Telegraf是InfluxData开发的数据采集器，支持众多的输入输出插件（例如MySQL、Redis、Elasticsearch等），在开源领域被广泛使用。本文介绍Telegraf的工作机制、安装步骤及采集方式。工作机制 日志服务基于Telegraf开发的监控模板，支持将...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
App端性能体验功能说明
如果数据量比较大，可能会消耗几分钟的时间 评分设置 您需要点击「编辑」按钮开始体验评分的设置，如果没有设置，会自动选择默认的指标和配比，体验阈值提供了行业普遍认可的区间，您也可以自行更改 选择参与评分的指标，App端可选择的参与...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
查看集群日报与分析
Hive库冷热数据分布Top信息会展示如下：库极冷数据量分布Top 库冷数据量分布Top 库温数据量分布Top 库热数据量分布Top 说明 冷数据是长时间不访问的数据，推荐放到冷备存储，例如OSS冷备等。冷热数据分布可以帮助您了解集群使用情况，有...
版本发布说明
修复存储过程中游标数据量过大时可能导致NPE的问题。修复SPM中执行计划无法正常删除的问题。修复全下推的执行计划进入SPM的问题。发布日期：2023-12-21 大版本：V5.4.17 小版本：17025353 类别 说明 新增&优化 新增 SKIP_PHYSICAL_ANALYZE ...
入门概述
数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与文件。参见以下文档，快速使用Filebeat。通过Filebeat采集Apache日志数据 Metricbeat 轻量型指标采集器，输送各种系统和服务统计数据。参见以下文档，快速使用Metricbeat。...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
修改监控频率
本文介绍了修改性能监控频率的操作步骤。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。...相关API API 描述 ModifyDBClusterMonitor 修改 PolarDB 集群监控数据的采集频率。
看板概述
功能概述 看板是日常监控产品大盘数据的工具，为了方便用户直接查看关键的产品数据，系统会预置部分产品的核心指标看板，以便于用户对核心指标进行监控。功能介绍 针对不同类型的应用，系统预置的看板会有所区别，详情如下：APP 系统预置...
大数据安全治理的难点
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
EMR Doctor常见问题
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
- 产品推荐
- 这些文档可能帮助您