分区表简介
分区表对于许多不同类型的应用程序很有用，尤其是管理大量数据的应用程序，如数据库。OLTP数据库通常受益于可管理性和可用性的改进，而OLAP数据仓库则受益于性能和可管理性。使用场景 当表非常大的时候（例如，表空间大于数据库服务器的...
分区表简介
分区表对于许多不同类型的应用程序很有用，尤其是管理大量数据的应用程序，如数据库。OLTP数据库通常受益于可管理性和可用性的改进，而OLAP数据仓库则受益于性能和可管理性。使用场景 当表非常大的时候（例如，表空间大于数据库服务器的...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
物联网数据处理分析架构参考
本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务，搭建企业物联网大数据应用架构。背景信息 随着物联网应用场景的深入，企业开始挖掘设备上传的数据，用于客户端应用扩展和服务营收，用于数字化运营、风控，帮助企业高效治理，...
业务流量隔离功能实践
业务背景信息 该电商业务案例包含以下应用：frontend：入口Web应用，负责和用户交互。cartservice：购物车应用。记录用户的购物车数据，使用自建的Redis。productservice：商品应用。提供商品、库存服务，使用RDS MySQL。checkoutservice：...
Cost-based SQL诊断引擎
在阿里巴巴集团内部，我们已经对数据库实例上全部SQL进行实时采集和存储，借助阿里巴巴这个大平台业务的丰富性和SQL场景的丰富性，以特征化形式描述为抓手对线上海量全量SQL资源分析搜寻符合指定特征的真实案例，抽取测试案例所需的信息，...
与云服务器ECS对比
业务场景 适用轻量级且访问量较低的应用场景：网站搭建 知识效率管理 云端学习环境 电商建设 论坛社区 开发环境配置 可覆盖全业务场景，典型场景如下：通用Web应用 在线游戏 大数据分析 深度学习 产品优势 快速上手 除纯净的操作系统镜像外...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
混合云应用双活容灾最佳实践
容灾切换数据质量保障难 容灾切换过程中，可能因数据同步延迟导致读到旧数据，以及切换规则推送到分布式应用节点时间不一致等原因可能造成云上云下数据库同时读写而出现脏写的问题，整个切换过程数据质量保障是关键点及难点。无业务代码...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
智能边缘一体机产品介绍
一、产品概要 边缘应用是指部署在用户现场的应用，常见于一些用户对数据处理实时性、安全性和运行可靠性要求比较高的场景下。如门禁系统、楼宇自动化BA系统、视频算法应用等。EdgeBox是一种现场应用部署模式的变革，通过Kubernetes技术，将...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
解决方案与客户案例
本文介绍了异地多活解决方案的架构和应用场景，以及国税总局和联通新客服系统案例的实现架构和效果。异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展，越来越多的信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务...
解决方案与客户案例
异地多活场景下的数据库方案 方案背景 随着云计算的蓬勃发展，越来越多信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为...
Spark应用性能诊断
应用场景 Spark应用性能诊断主要适用于以下场景：数据集性能分析：使用Spark处理大规模数据时，需要对数据集进行性能分析。使用性能诊断工具可以快速定位性能瓶颈（例如：内存峰值、Spill等），提高数据处理效率。大规模应用负载均衡：...
从RDS MySQL迁移至自建MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL迁移至自建MySQL数据库，适用于数据分析、业务功能测试等场景。前提条件 RDS MySQL中的待迁移的表需具备主键或者唯一性非空索引。自建MySQL数据库的存储空间须大于RDS...
金融行业
金融行业：包括银行、保险、基金、P2P、大数据金融等公司，抽象目前HBase在金融行业的应用如下：某大数据风控平台 车联网-基于轨迹的风控 参考HBase在大搜车金融业务中的应用实践 金融公司-历史订单在线查询 金融时序数据-K线、分析 金融...
X-Engine最佳实践
由于X-Engine分层存储的架构特点，该引擎特别适合某些业务负载特征的业务，本文介绍X-Engine的典型应用业务场景。X-Engine的分层存储架构特别适合具有如下业务负载特征的业务：数据访问具有鲜明的时间特征。例如大部分读取及修改操作集中在...
核心自治技术案例解析
如下图为双11期间自动SQL限流的实际案例：某自治服务接入实例于2020年11月5日12点31分，活跃会话数和CPU开始骤然飙升，DAS异常检测中心于12点33分确定此次飙升为一次数据库异常而非抖动尖刺，触发SQL自动限流根因诊断，12点34分诊断完成，...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
自动弹性扩缩容
指标回放：以回放的历史指标数据作为预测数据，适用于周期明显的应用。使用时建议结合当前实时指标，即搭配 系统指标 进行弹性扩缩容。智能预测（AHPA）：使用ACK推出的AHPA进行指标预测。更多信息，请参见 AHPA概述。回放周期 预测模型 ...
时间轴
图表样式 时间轴支持自定义时间轴的节点标签样式、事件节点样式以及交互等配置，适用于在可视化应用中展示不同时间段的数据变化情况，比如使用时间轴组件实现数据轮播。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置...
数据服务系统配置
适用于个别API需要开启缓存且数据量很少的场景 说明 数据缓存时间将统一获取Dataphin应用部署时设置的内存数据缓存时间，创建API时定义的缓存时间将不生效。指定redis实例：将缓存数据存储到指定的Redis，适用于大量API开启缓存，缓存数据...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
基本概念
该系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法等，结合 云原生多模数据库 Lindorm 宽表引擎强大的分布式存储能力以及DAL Spark分析平台，可以广泛应用于空间或时空存储、查询、分析和数据挖掘场景...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
访问数据可视化功能
旧版数据可视化功能：在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据可视化（老）。新版数据可视化功能：在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。方式二：通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS...
SDK简介
通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过OpenTelemetry上报...
开始监控除Java之外的应用
通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过OpenTelemetry上报Node.js应用数据 通过SkyWalking上报Node.js应用数据 接入Node.js应用.NET应用 通过OpenTelemetry上报.NET应用数据 通过Jaeger上报.NET...
通过Prometheus监控获取ARMS应用监控数据
阿里云 可观测监控 Prometheus 版 默认集成了ARMS应用监控数据源，您可以直接在 可观测监控 Prometheus 版 下获取应用监控相关数据、查看应用监控预置大盘，并根据需求进行二次开发。前提条件 已为应用安装探针，具体操作，请参见 应用监控...
功能简介
数据预览 支持不同云计算资源数据的快速预览，可为开发人员和数据应用人员提供全面直观的数据呈现。支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL多种云计算资源进行物理表数据预览，可快速对各类数据资源下的物理表的...
应用场景
通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
使用ARMS应用监控数据指标绘制自定义的Grafana大盘
阿里云 可观测可视化 Grafana 版 支持一键集成ARMS应用监控数据源和大盘，如果您需要使用ARMS应用监控数据指标绘制自定义大盘，只需要创建一个Grafana工作区，一键集成ARMS应用监控数据源后，即可根据实际场景重新绘制Grafana大盘。...
通过Prometheus配置SAE Grafana大盘和报警规则
具体指标如下：CPU使用率 系统平均负载 内存使用量 网络流入流出速率 网络数据包 磁盘使用量 磁盘IOPS 磁盘吞吐率 TCP连接数 查看单应用的ARMS监控Grafana大盘 重要 SAE 内置的ARMS监控能力适用于Java应用。该大盘从API、Application、DB和...
- 产品推荐
- 这些文档可能帮助您