Oracle数据源
对于业务上无字段区分新增、修改数据的情况，Oracle Reader无法进行增量数据同步，只能同步全量数据。SQL安全性 Oracle Reader为您提供 querySql 功能，您可以自行实现SELECT抽取语句。Oracle Reader本身对 querySql 不进行任何安全性校验...
FineBI连接MaxCompute
本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆软软件有限公司推出的一款商业智能（Business Intelligence）产品，以业务需求为方向，通过便携的数据处理和管控，为...
客户案例
迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（“基于用户ID维度和内容类型的实时行为”、“获取用户的实时群聊ID...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
使用场景
数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表、统计分析等。实时数据处理 DMS任务编排可以设置定时任务，实现对实时数据的处理和分析。业务流程自动化 结合DMS任务编排的调度和依赖管理功能，...
功能特性
实时性能 全量KEY离线分析 支持对全量数据进行离线分析，能够发现所有存在的大Key，分析过程不会对实例带来任何额外负担。离线全量Key分析 大、热Key分析 实时跟踪请求并分析其中涉及的大、热Key，帮助快速定位问题。实时Top Key统计 ...
验证分析型查询请求能力
它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过...
简介
结合大数据分析框架（如Spark）还可以进行穿越分析、区域分布热力图等。智慧物流与外卖递送 在物流与外卖等领域，需要实时监控车辆、骑手的位置，以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报，云端需要处理高并发写入并...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
云产品集成
背景信息 云数据库 OceanBase 对接了多个阿里云常用云产品，您可以通过这些产品进行数据可视化、数据分析、数据同步等操作。常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI ...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
简介
DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理底座，赋能数据分析与应用。该场景下核心的四个功能如下：安全托管：DMS在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云...
Quick BI
数据可视化分析 单击左侧导航栏中的 数据集>新建数据集，选择之前配置的AnalyticDB链接，选择表的种类，将数据集添加进数据决策系统并进行后续的数据分析和仪表板展示。您可以使用如下两种方式进行数据的可视化分析：拖拽表对应列方式：...
数据重排
因为 ORDER BY 是全局排序，对计算性能的开销较大，而且集中在单个Reduce上排序并不能起到分布式处理的效果，所以可以通过 DISTRIBUTE BY+SORT BY 和 CLUSTER BY 两种方式来进行数据重排。注意事项 进行数据重排会占用和消耗计算资源，如果...
数据可视化概览
背景信息 DMS为您提供了数据库数据管理的能力，同时通过SQL Console控制台为您提供以表格形式查询数据的方式，但对于需要通过分析数据去发现业务特性，比如分析趋势、增长对比等场景，单纯的表格无法满足需求，需要把数据可视化才可以支撑...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于...后续操作 数据加工完成后，您可通过数据分析模块对数据进行可视化展示，详情请参见 数据可视化展现。
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
Delta Lake概述
在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在如下问题：数据导入可能会失败，失败后清理脏数据和恢复作业困难。方案中没有ETL（Extract Transform Load）过程，缺少必要的数据质量监管。方案中没有事务...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于...后续操作 数据加工完成后，您可通过数据分析模块对数据进行可视化展示，详情请参见 数据可视化展现。
必读：简单模式和标准模式的区别
生产数据权限管控差异 开发人员可直接使用生产数据进行测试，无法保障生产数据安全。开发人员在开发环境可使用测试数据进行测试，也可通过授权或申请权限，在开发环境使用生产表数据进行验证。说明 仅MaxCompute支持在安全中心可视化申请...
资产安全概述
典型应用场景：数据分析场景的即席查询、数据开发场景的生产数据写开发、数据消费里的数据服务等。静态脱敏 直接修改底层数据的存储，数据存储时就已经是加密或者脱敏过的，例如常见的pn_md5。典型应用场景：数据集成时对敏感数据加密、数...
资产安全概述
典型应用场景：数据分析场景的即席查询、数据开发场景的生产数据写开发、数据消费里的数据服务等。静态脱敏 直接修改底层数据的存储，数据存储时就已经是加密或者脱敏过的，例如常见的pn_md5。典型应用场景：数据集成时对敏感数据加密、数...
规格及选型
本文将介绍如何选择 云原生...优势：生产库使用 AnalyticDB PostgreSQL版 Serverless版本，在需要进行数据开发时，通过数据共享和测试实例实现生产数据的实时同步可用，同时避免了开发时对生产环境的影响，也可用高时效性的数据进行数据开发。
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
入门概览
本文旨在介绍如何购买实例、创建账号、设置白名单、导入数据、连接实例和查询分析图，使您能够了解从购买图数据库GDB到开始使用的流程。前提条件 如果您是初次使用图数据库GDB，请先了解相关使用限制。具体信息，请参见 使用须知。如果您...
数据存储
Unique模型针对需要唯一性约束的场景，提供了主键唯一性约束，可用于满足订单等关系型数据分析场景。对于聚合查询有较高性能需求的用户，推荐使用新版本引入的写时合并实现。该表引擎无法利用 ROLLUP等预聚合带来的查询优势。Duplicate模型...
查询报错问题
若SQL自身无法进行优化，但依旧触发该错误，可联系分析型数据库MySQL版技术支持对单个分析型数据库MySQL版的系统默认值进行调整，此操作可能会造成数据库性能下降。查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后...
分析实例简介
构建实时数仓成本太高，公司留给数据分析的预算有限，只能默默忍受越来越长的卡顿时间，殊不知在无限的忍受中公司错过了很多机会。为解决上述问题，您可以在RDS MySQL控制台上创建一个分析实例。分析实例的复杂分析性能约为RDS MySQL实例的...
2020年
MaxCompute Web控制台支持以STS访问认证，使用RAM角色在Web控制台操作访问MaxCompute项目空间，进行数据分析、数据开发。2020-11-24 全部区域 用户认证 2020-10 功能名称 功能描述 发布时间 发布区域 相关文档 SEMI JOIN支持MAPJOIN Hint ...
什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
阶段二：数据安全防护措施及策略增强建设
场景二：按需申请数据权限&多级审批 在日常工作中，开发人员、数据分析师常需要读取他人产出的结果表，他们可在DataWorks数据地图检索表的元数据，并对表或表的某列进行权限申请。默认情况下，空间管理员或表Owner审批后便会自动授权，详情...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
技术发展趋势
而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着全球连接的增多，更多数据将产生，其中实时数据所占比例将增加；到2025年，全球近30％的数据将是实时的...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
调用Dataphin数据源
Dataphin数据源后续可以作为Quick BI的数据源，对业务数据进行展示、分析、探查和制作报表等。本文为您介绍如何调用Dataphin数据源。前提条件 在开始执行操作前，请确认您已满足以下条件：已完成Dataphin数据源的开发。具体操作，请参见 ...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
- 产品推荐
- 这些文档可能帮助您