数据总线
通过应用声明，应用在上架到应用市场之后，用户就能感知应用与数据之间的关系。目前通用的集成方案是以项目为隔离维度的。也就是说，在一个项目内的所有应用，他们关联的相同的数据模型，会被默认放在同一个隔离区域ScopeID内。4.应用开发-...
使用流程
ADAM（数据库与应用迁移）使用主要分为数据库评估，数据改造迁移，应用评估改造三个流程。整体迁移流程简介 数据库评估：帮助用户了解源库现状、提供目标库的选型建议，根据评估结果为用户迁移到目标库提供可行性参考。数据改造迁移：帮助...
应用评估
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
ADAM概览
应用采集器：收集、分析Oracle、Db2和Teradarta的Java应用框架与运行信息，包含应用机器性能信息、应用代码中SQL信息、运行时SQL调用堆栈、应用与数据库间调用关系和应用与应用间调用关系，全面覆盖应用实际运行状况，同时对结果中的数据...
添加成员并设置角色
超级管理员创建了服务项目后，如果需要添加成员协助开发，您可以将 管理中心-成员列表...后续步骤 完成服务项目成员添加并设置成员后，您就可以配置应用访问数据服务的网络，以实现应用与数据服务之间的网络互通。具体操作，请参见 网络配置。
支持的云服务
AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
典型使用场景
HBase具有高吞吐，低延迟，schemaFree，水平扩展等能力，被很多大数据类应用选择。而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列 通常业务发生之后，应用系统产生的数据需要被其他...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
概述
数据同步，比如更新cache，同步到搜索引擎、数仓、冷存储等。LindormStreams支持实时获取HBase表的数据变更，您可以基于LindormStreams的这个功能构建自己的数据应用。说明 该功能只支持云数据库HBase增强版、云原生多模数据库Lindorm。
简介
DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理底座，赋能数据分析与应用。该场景下核心的四个功能如下：安全托管：DMS在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
时序引擎应用开发简介
5.连续查询 连续查询应用于大数据查询的场景。通过创建连续查询对新写入的数据预聚合处理，减少实时查询的数据量，从而减少计算量并降低查询延迟。6.预降采样 预降采样应用于较长时间范围的数据查询场景。在数据写入时按照设置的规则将原始...
受众与核心能力
总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...
MQ监控
功能介绍 在 概览 页签中以拓扑图展示应用与MQ数据源之间的消息发布和订阅关系。在 发布端统计 页签展示消息发布的统计数据，包括请求数、响应时间和错误数。在 订阅端统计 页签展示消息订阅的统计数据，包括消息请求数、响应时间和错误数...
MQ监控
功能介绍 在 概览 页签中以拓扑图展示应用与MQ数据源之间的消息发布和订阅关系。在 发布端统计 页签展示消息发布的统计数据，包括请求数、响应时间和错误数。在 订阅端统计 页签展示消息订阅的统计数据，包括消息请求数、响应时间和错误数...
概述
本文档介绍了 PolarDB MySQL版 数据与缓存一站式功能，如功能概览、适用场景、核心优势、技术原理等。简介 传统的数据与缓存一站式的解决方案通常为Cache Aside模式。Cache Aside模式下，持久化层和缓存层的一致性问题主要是“双写”，即...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
数据服务：低成本快速发布API
功能概述 作为数据仓库与上层应用系统间的“桥梁”，DataWorks数据服务为企业搭建统一的服务总线，帮助企业统一创建及管理对内、对外的API服务，解决数仓、数据库与数据应用间的“最后一公里”，加速数据的流动和共享。数据服务支持通过零...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
设置连接池
如果您的应用连接创建频繁（例如短连接场景）或者连接数量很大（大于MySQL数据库的连接数限制），您可以参考本文使用合适的RDS MySQL数据库代理连接池，降低应用与数据库建立连接的频率来减少MySQL数据库主线程的开销，减少数据库上的总...
自建数据库与RDS性能对比的注意事项
网络环境 应用和自建数据库都需要部署于ECS实例，且与RDS实例位于同一地域，使得应用与RDS之间，以及应用与自建数据库之间都是通过内网进行通信。说明 应用与自建数据库需要部署于两台不同的ECS实例。如果部署于同一台ECS实例，则应用到自...
自建数据库与RDS性能对比的注意事项
网络环境 应用和自建数据库都需要部署于ECS实例，且与RDS实例位于同一地域，使得应用与RDS之间，以及应用与自建数据库之间都是通过内网进行通信。说明 应用与自建数据库需要部署于两台不同的ECS实例。如果部署于同一台ECS实例，则应用到自...
自建数据库与RDS性能对比的注意事项
网络环境 应用和自建数据库都需要部署于ECS实例，且与RDS实例位于同一地域，使得应用与RDS之间，以及应用与自建数据库之间都是通过内网进行通信。说明 应用与自建数据库需要部署于两台不同的ECS实例。如果部署于同一台ECS实例，则应用到自...
JVM监控内存详情说明
答：ARMS应用监控采集的数据来源来自JMX，而Grafana上看到的内存使用率是通过Prometheus Query Language查询的指标，一般取与对应用容器相关的、名字包含container_memory_working_set_bytes的指标，实际上统计的是memcg（进程组）的rss...
应用画像
对象详情 对象详情是详细展示了ADAM智能分析后的数据库对象与应用SQL以及应用代码的关系。其中左边是以SCHEMA和对象类型为纬度，通过树的形式展示应用访问的数据库对象的罗列。右边是具体对象和访问该对象的SQL。通过调用栈设置，可以配置...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On EMR使用说明
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
概述
问答机器人，通过与大模型结合搭建高效的问答机器人服务。文件去重，通过文件指纹特征来去除重复文件。优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛...
JindoFS实战演示
描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用、AI应用等。...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
- 产品推荐
- 这些文档可能帮助您