PyODPS的去重
在PyODPS节点输入代码实现数据去重。示例代码如下。from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))print iris[['name']].distinct()print iris.distinct('name')print iris.distinct('name','sepallength')....
普通集成
智能语音导航 能耗宝 金融分布式架构 SOFAStack 数据库 云数据库 MongoDB 版 RDS Data API AnalyticDB for PostgreSQL 版 云数据库 ClickHouse 版 云数据库 HBase 云数据库 OceanBase 版 云数据库 RDS 云数据库 Redis 版 云数据库Cassandra...
长周期指标的计算优化方案
本文为您介绍如何对长周期指标的计算进行优化。实验背景 电子商务公司在电商数据仓库和商业分析场景中，经常需要计算最近N天...计算老买家数量时，判断最近一次购买时间是否在30天之内，从而最大程度上的数据关系对去重，减少计算输入数据量。
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...
ODS层设计规范
DBSync非去重数据 按天分区 由应用通过中间层保留历史数据，默认ODS层不保留历史数据。数据质量规范 每个ODS全量表必须配置唯一性字段标识。每个ODS全量表必须有注释。每个ODS全量表必须监控分区空数据。仅有监控要求的ODS表才需要创建数据...
云计算资源类型
云计算资源是 数据资源平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准设计中...
云计算资源类型
数据服务API 数据服务API支持的云计算资源类型为：ApsaraDB for RDS、ApsaraDB for RDS VPC、AnalyticDB MySQL、AnalyticDB MySQL 2.0、AnalyticDB PostgreSQL、MaxCompute、DataHub、Table Store、Object Storage Service、RocketMQ、...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...
新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...
物理化逻辑表
通过物理化逻辑表，可以将您在 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句，具体操作，...
引擎简介
与多模引擎共享存储，LindormDFS支撑，充分利用了对象存储的低成本与高可靠、块存储的高性能等优势，并通过高低速分层存储、副本共享去重、智能冷热转存等技术，面向用户提供弹性低成本、100%HDFS协议兼容的云原生大数据存储能力，可使用...
通过云计算资源导入逻辑表
您可以将已存在数据库中的数据表，通过云计算资源扫描方式，导入 企业数据智能平台 系统，实现逆向创建逻辑表。本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已添加工作组，具体操作，请参见 新建工作组。已新建目录，具体操作...
云计算资源类型
云计算资源是 企业数据智能平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...
导入数据
前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL。操作步骤 登录企业数据智能平台。...
新建云计算资源
支持新建多种类型的数据源，为使用 企业数据智能平台 做数据支撑。本文介绍如何新建云计算资源。...重要 删除云计算资源将造成数据无法访问，导致该云计算资源中存储的已授权物理表、标签、数据服务API等无法使用或加工任务异常，请谨慎操作。
云计算资源类型
云计算资源是 企业数据智能平台 中通用资源使用的基础，通过了解通用资源支持的云计算资源类型，并在系统设置模块添加通用资源需要使用的云计算资源类型对应资源，以备在新建函数资源、自定义函数并物理化以及新建数据基础库并物理化时使用...
新建工作组
后续操作 通过添加云计算资源，为使用 企业数据智能平台 做数据支撑。以RDS MySQL资源为例，更多信息，请参见 新建云计算资源。通过成员管理功能，对工作组实现账号和角色权限控制。更多信息，请参见 工作组成员管理。通过全局变量功能，可...
输入节点
运行配置 运行配置用于设置输入节点的云计算资源和源数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的数据源类型，可选值包括 MaxCompute、AnalyticDB for RDS、AnalyticDB MySQL、Table Store、DataHub Service、Phoenix、...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面...
云计算资源类型
云计算资源是 企业数据智能平台 中数据建模使用的基础，通过了解数据建模支持的云计算资源类型，并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源，以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中...
使用SQL模式创建数据服务API
数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，减少资源操作成本。SQL模式创建数据服务API适用于多表关联、复杂筛选过滤的查询，通过编写SQL代码的方式完成API封装。本文介绍如何用SQL模式创建...
云计算资源类型
云计算资源是 企业数据智能平台 资产管理的基础，了解运营支持的云计算资源类型，以备在系统设置模块添加对应资源。本文介绍运营模块支持的云计算资源类型。表资产 支持的云计算资源类型：MaxCompute、DataHub、Hive、RDS MySQL、...
新建云计算资源
支持新建多种类型的数据源，为使用 数据资源平台 做数据支撑。本文介绍如何新建云计算资源。...重要 删除云计算资源将造成数据无法访问，导致该云计算资源中存储的已授权物理表、标签、数据服务API等无法使用或加工任务异常，请谨慎操作。
新建云计算资源
添加云计算资源为使用数据资源平台做数据支撑。以新建ApsaraDB for RDS和MaxCompute云计算资源为例，介绍如何新建云计算资源。前提条件 您已经购买ApsaraDB for RDS云计算资源，并完成RDS快速入门，具体操作，请参见 RDS快速入门。您已经...
使用向导模式创建数据服务API
数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，可减少资源操作成本。向导模式适用于单表的简单查询，零代码通过界面化的设置完成API的封装。本文介绍如何使用向导模式创建数据API。前提条件 已...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
BITMAP精准去重
本文介绍 云数据库 SelectDB 版 提供的Bitmap去重功能，帮助您进行数据去重，加速查询。概述 云数据库 SelectDB 版 支持Bitmap类型，在Aggregate数据模型中，Bitmap类型的Value字段可以和集合的交并集聚合函数配合，实现数据的精确去重功能...
新建云计算资源
添加云计算资源为使用数据资源平台做数据支撑。本文介绍如何添加MaxCompute和RDS MySQL云计算资源。前提条件 在新建MaxCompute云计算资源之前，已完成以下操作：开通MaxCompute。创建MaxCompute项目 在新建RDS MySQL云计算资源之前，已完成...
非结构化分析
典型的应用场景有商品去重，计算新加入的商品与历史商品库中有哪些是相似的。人脸聚类，计算一段时间内的人脸库中，哪些人脸是同一个人。易用性 AnalyticDB PostgreSQL版 向量分析申请即可使用，支持标准SQL，简化开发流程。低成本 向量...
云计算资源类型
了解数据查询支持的云计算资源类型，以便后续参考使用。本文介绍数据查询支持的云计算资源。目前支持的云计算资源类型：MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、Hive、...
SA混合云存储阵列
产品优势 随着云计算技术的普及，越来越多的企业开始选择了部署云计算方案，公共云的灵活性，易用性和可靠性也被大家广泛认可。但也有很多企业对传统存储阵列的依赖度很高，在短期内完全迁移到云端会有诸多的挑战，可能会涉及到系统的重新...
云计算资源类型
通过了解数据开发支持的云计算资源类型，并在系统设置模块添加数据开发需要使用的云计算资源类型对应资源，以备在运行离线节点或者部署运行测试场景和线上场景时使用。本文介绍数据开发中支持使用的云计算资源类型。节点模式 支持的云计算...
批量或异步插入数据
本文介绍如何在云数据库ClickHouse中批量或异步插入数据。...手动批处理的优点是，如果相同的插入语句多次发送到云数据库ClickHouse企业版（例如，由于客户端软件中的自动重试导致了一些暂时的网络连接问题），它支持表数据的默认自动去重。
云计算资源类型
了解数据同步支持的云计算资源类型，以便后续参考使用。本文介绍数据同步支持的云计算资源。单表任务链路 目前系统支持的任务链路如下表所示。说明 对号（√）代表支持，其他则为不支持。目标端支持版本与源端一致。批量任务链路 目前系统...
2021年
2021-12-03 全部地域 参考：渐进式计算 MaxCompute物化视图功能增强 MaxCompute物化视图支持创建分区和聚簇，在查询物化视图时如果发现有分区数据不存在物化视图中时，可以设置系统自动穿透去查询源表，并返回源表和物化视图的汇总数据。...
表引擎
云数据库ClickHouse 的SQL语法中主键用于去重，保持数据唯一，而在MergeTree表引擎中，其主要作用是加速查询，即便在Compaction完成后，主键相同的数据行也仍旧共同存在。说明 MergeTree表引擎的更多信息，具体请参见 MergeTree。示例如下...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 企业数据智能平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联...
操作流程
数据服务API：数据API是一种由云计算资源中的数据通过参数配置生成API的API类型，生成API后可以方便后续调用，减少资源操作成本。上线API 通过上线API操作才能使API被调用。服务调用流程（工作组内）及说明 流程图 流程说明 流程 说明 API...
- 产品推荐
- 这些文档可能帮助您