公开数据集概述
如果您已开通MaxCompute服务，可以通过MaxComputeSQL分析连接查询公开数据集中的表，以便您快速试用MaxCompute。本文为您介绍公开数据集信息，并指导您如何通过MaxComputeSQL分析连接查询并分析数据。简介 MaxCompute开放的公开数据集类别...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版需要以下几个步骤：步骤一：创建DTS同步作业 步骤二：配置同步链路 步骤三：查看同步数据 步骤一：创建DTS同步作业 创建DTS同步作业需要用户支付一定的费用，DTS支持两种付费...
低成本历史库
云原生多模数据库Lindorm提供海量数据的低成本存储能力（0.12元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析需求...
低成本RDS历史库
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.12元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接Spark、Hive、Flink、Presto等开源分析生态满足用户对数据的复杂分析...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
应用场景：低成本历史库
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.11元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
Slowly Changing Dimension
业务数据随着时间在不断变化，如果您要对数据进行分析，则需要考虑如何存储和管理数据。其中数据中随着时间变化的维度被称为Slowly Changing Dimension（SCD）。E-MapReduce根据实际的数仓场景定义了基于固定粒度的缓慢变化维（G-SCD）。...
2023年
成本分析 2023-08-09 新增公开数据集概述 新说明 如果您已开通MaxCompute服务，可以通过MaxComputeSQL分析连接查询公开数据集中的表，以便您快速试用MaxCompute。本文为您介绍公开数据集信息，并指导您如何通过MaxComputeSQL分析连接查询并...
查询报错问题
查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后，查询提示找不到新添加的列，具体是什么原因？表正在上线，但是上线失败或者CN副本在重启，都有可能出现 META_COLUMN_NOT_EXIST。对于普通表 一级普通表：新增字段...
智能小Q
能让企业用起来的，才是真正的智能BI。一、引领数据消费新范式 Quick BI接入阿里巴巴通义千问大模型能力打造智能小Q分析助手，...3.金融 金融机构可以使用智能数据分析来评估信用风险、预防欺诈行为，并预估市场风险，保护消费者和机构资产。
性能优化与诊断简介
在RDS MySQL日常运维中，您可以通过数据库自治服务DAS（Database Autonomy Service）来处理数据库故障、优化性能、提升效率、降低运维成本。DAS是一种基于机器学习和专家经验的云服务，实现数据库自感知、自修复、自优化、自运维和自安全，...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
FineBI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入FineBI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动，连接FineBI和MaxCompute项目，并进行可视化数据分析。背景信息 FineBI是帆...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
概述
PolarDB-X 结合ADB提供了库仓一站式的能力，基于“Zero-ETL”的设计理念，采用共享同一份列存索引的数据，基于ADB的数据仓库能力可以满足多方的数据汇总和数据关联查询，提供传统意义上的数仓和湖的分析。同时，针对在线数据的并发查询可以...
普通集成
普通集成是指 云工作流 直接通过阿里云开放平台OpenAPI集成云产品对外提供的服务接口，不对服务接口做任何特殊处理和优化。允许 云工作流 通过调用弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的多个阿里...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
离线同步并发和限流之间的关系
本文可以帮助您理解和配置任务通道控制参数，降低误配的数量和答疑。本文将为您介绍离线同步并发和限流之间的关系。实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据...
通过Quick BI连接StarRocks实例
添加StarRocks数据源用于连通StarRocks数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何通过Quick BI连接StarRocks实例。背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝...
通过函数计算节点实现GitHub实时数据分析与结果发送
DataWorks提供“Github十大热门编程语言”模板，通过对GitHub中公开数据集进行加工和分析，并将分析结果以邮箱的方式发送给指定用户。运行本案例后，您将得到Github中Top10编程语言每小时被提交的次数与排行。说明 手动配置与实际应用中的...
运维监控概述
查看应用调用情况：对API的数据做统计，并且支持对异常API进行查看API的影响分析，对API进行告警、限流等。查看应用调用情况：在应用运行情况区域以应用为维度查看每个应用被调用的分布情况。查看及管理运维监控API：支持为API和应用（APP...
EMR旧版数据开发迁移公告
迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件，通过EMR Workflow的导入功能，您可以快速导入工作流和任务，实现快速的迁移，从而节省大量的迁移...
快速入门
您可以通过Lindorm流引擎的实时计算和分析能力处理轨迹点数据，并结合时空函数，实现多种实时轨迹分析需求，例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通，请参见 开通时空服务（免费）。已开通流...
工作流调度简介
示例二：日志服务 SLS（Simple Log Service）中日志更新触发工作流执行 您可以通过直接调用工作流对增量的日志进行查询和分析。如果 SLS 能够帮助我们关注更新的日志，并自动调用关联的工作流，您无需再调用工作流。SLS调度的作用就是关注...
轨迹服务
时空数据的接入与实时计算 Lindorm Ganos时空数据类型同时也是Lindorm流引擎的原生数据类型，因此您也可以直接使用Lindorm流引擎的SQL语法处理实时计算任务。Lindorm Ganos时空引擎提供高性能的时空实时计算能力，支持在Lindorm流引擎中...
产品优势
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
通过 HyperLoglog 实现高性能多维数据透视
arr_miner(uid2[],uid1[])使用HLL做数据逻辑计算 您可以使用HLL进行以下逻辑计算。计算唯一值个数。hll_cardinality(users)计算两个HLL的并集，得到一个HLL。hll_union()应用示例 例如，假设在促销活动前（2017-06-24）的用户集合HLL为uid1...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
创建MaxCompute数据源
以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。更多详情请参见 什么是MaxCompute。权限说明 Dataphin仅支持 超级...
创建MaxCompute数据源
以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。更多详情请参见 什么是MaxCompute。权限说明 Dataphin仅支持 超级...
使用流程
云原生数据湖分析DLA（Data Lake Analytics）是无服务器（Serverless）化的云上交互式查询分析服务，支持通过Presto和Spark引擎分析多种数据源中的数据。快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与...
慢日志分析
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为RDS ...
慢日志
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为：...
- 产品推荐
- 这些文档可能帮助您