数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
东软案例
东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点，将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用运行代码...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据资产等级定义
例如，一个A2等级的数据应用产品对应的导出表Table1、Table2、Table3，几个表都打上 A2-xxx 数据产品标记。根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'...
源服务器迁移至轻量应用服务器
服务器迁移中心 支持将其他厂商轻量服务器（腾讯云轻量应用服务器、AWS Lightsail Instance和华为云云耀云服务器）迁移至阿里云 轻量应用服务器。本文介绍如何将其他厂商轻量服务器迁移至轻量应用服务器。前提条件 已导入迁移源信息。您...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
功能特性
通过OpenTelemetry上报Go应用数据 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 接入Python应用 支持通过OpenTelemetry、Skywalking、Jaeger上报Python应用性能数据。通过OpenTelemetry上报Python应用...
功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。API开发 支持数据服务API。支持创建、编辑和测试API，支持的API类型包括...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。API开发 支持数据服务API、三方API、数据上报API、空间服务API。支持创建、...
统一服务
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。API开发 支持数据服务API、三方API、数据上报API、和空间服务API。支持创建...
Spark应用性能诊断
应用场景 Spark应用性能诊断主要适用于以下场景：数据集性能分析：使用Spark处理大规模数据时，需要对数据集进行性能分析。使用性能诊断工具可以快速定位性能瓶颈（例如：内存峰值、Spill等），提高数据处理效率。大规模应用负载均衡：...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
PolarDB的高级脱敏
高级脱敏功能具有但不限于如下特性：统一管理敏感数据 敏感数据分类分级 周期性扫描敏感数据 主动发现敏感数据 应用场景 实时从生产环境中的数据库（即生产库）获取用户已脱敏的数据来进行报表生成、数据分析、开发测试等。前提条件 已录入...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
设置启动命令
应用托管概述 设置镜像部署应用的启动命令 设置JAR包部署应用的启动命令 设置WAR包部署应用的启动命令 设置ZIP包部署应用的启动命令 设置镜像部署应用的启动命令 以创建Java应用为例，在 应用部署配置 配置向导页面选择 应用部署方式 为 ...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
管理应用和标签
在应用设置页面上，您可以控制是否显示机器名称和采集应用数据，也可以管理应用的自定义标签和删除应用。背景信息 在 可观测链路 OpenTelemetry 版 控制台上，当需要显示应用所部属的机器时，默认情况下显示的是机器的IP地址，但是您也可以...
远程调试
开启应用内存优化（G1）：默认开启，开启后可以针对多CPU与大容量内存场景，降低GC时间，适用于GC需要优化、大数据等场景。开启应用启动加速（Quickstart）：只有 Java环境 为 Dragonwell 11 时可以设置。选中 开启应用启动加速...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
功能特性
创建二级索引 时序引擎 降采样查询 降采样查询是在时间维度的聚合查询，是时序数据应用场景常用的降低采样率的查询。降采样查询 连续查询 在时序应用的场景下，对于依照时间推进顺序写入的实时数据每隔一段固定时间，就能够按照一定的查询...
应用拓扑
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 应用拓扑 页面了解应用内部服务的调用关系。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，具体操作，请参见 接...
导出应用
应用信息 当前导入、导出应用数据时，包含的应用信息如下所示：应用名、应用描述信息、应用所处集群信息、应用实例数 应用程序包、应用镜像 CPU、内存请求与限制值 启动命令、启动参数、环境变量配置 就绪探针、存活探针、启动后脚本、停止...
数据库分析
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 数据库分析 页面查看数据库分析数据，从而了解数据库的调用详情。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
架构
然后数据会被连续地使用流复制协议传输到应用工作者，应用工作者会把数据映射到本地表并且以正确的事务顺序应用它们接收到的更改。订阅者数据库上的应用进程总是将 session_replication_role 设置为 replica 运行，这会产生触发器和约束上...
ETL工作流快速体验
案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...
透明数据加密概述
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的未知用户将不允许访问明文数据。透明：数据在使用过程中无感知，数据在...
混合存储型（已停售）
云原生内存数据库Tair 混合存储型整合了内存和磁盘二者的优势，在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖，更多信息，请参见【通知】混合存储型实例停止售卖，推荐选择 持久内存型 实例。简介 图 1....
索引优化
避免在频繁更新的表上建Bitmap索引：Bitmap索引最适合用户只查询数据而不更新数据的数据仓库应用，不适合有大量并发事务修改数据的OLTP应用。合理使用表达式索引：索引列不必只是表的一列，而是可以是从表的一列或多列计算的函数或标量表达...
通过Prometheus配置SAE Grafana大盘和报警规则
Serverless 应用引擎 SAE（Serverless App Engine）平台的监控和数据源类型分丰富多样，这些指标都默认集成了阿里云 可观测监控 Prometheus 版（Managed Service for Prometheus），且 可观测监控 Prometheus 版 已集成 可观测可视化 ...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
轨迹层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
- 产品推荐
- 这些文档可能帮助您