赛盒广告精细化管理方案
海量历史数据的存储需求 每位用户的广告数据存储在独立的物理库中，部分用户单张表每年将存储超过1亿行的记录，如果历史数据保留一年，300位用户一年预计产生18TB的数据。对数据库的实时、高速查询能力需求 用户通过仪表板实时了解广告的...
管理数据源权限
您可以在数据源管理页面，分享数据源权限给相应的工作空间，并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。背景信息 通常数据源会承载数据的具体地址、账户和密码等敏感信息，但普通开发人员仅...
到期与欠费
同时您将收到短信或者邮件提醒，数据继续保留一周。如需继续使用，您可以在回收站中执行重建恢复的操作，Redis会基于原实例的数据克隆一个新的实例。具体操作，请参见 实例回收站。第23天 实例已被彻底销毁，数据不再保留且无法找回。警告 ...
到期与欠费
同时您将收到短信或者邮件提醒，数据继续保留一周。如需继续使用，您可以在回收站中执行重建恢复的操作，会基于原实例的数据克隆一个新的实例。具体操作，请参见 实例回收站。第23天 实例已被彻底销毁，数据不再保留且无法找回。警告 如需...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
基本概念
格式 描述 示例.1f 浮点数（保留一位小数）11.111=>11.1.2f 浮点数（保留二位小数）11.111=>11.11.0%百分比 0.11=>11%.1%百分比（精确到百分比后一位）0.111=>11.1%.2%百分比（精确到百分比后二位）0.1111=>11.11%,.0f 千分位 1111.1=>1,...
分析数据
③ 两位小数 使单元格的数据保留两位小数。④ 千位分割 将单元格数据的千位以逗号形式分割，例如 1,005。⑤ 货币 将单元格的数据类型设置为货币类型，例如人民币、美元、英镑、欧元和法郎等。行列 序号 功能 描述 ① 插入行 在电子表格中...
基本概念
格式 描述 示例.1f 浮点数（保留一位小数）11.111=>11.1.2f 浮点数（保留二位小数）11.111=>11.11.0%百分比 0.11=>11%.1%百分比（精确到百分比后一位）0.111=>11.1%.2%百分比（精确到百分比后二位）0.1111=>11.11%,.0f 千分位 1111.1=>1,...
ODS层设计规范
日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否保留特殊日期数据。ODS镜像型全量表 按天分区 重要的业务表及需要保留历史的表视情况保存。ODS全量表的默认生命周期为2天，...
新增脱敏算法
例如，原始数据为1234.12，设置保留小数点前第2位，则脱敏结果为1230。日期取整：日期取整级别。例如，原始数据为2021-10-14 15:15:30，设置日期取整级别为hour，则脱敏结果为2021-10-14 15:00:00。字符位移：字符串循环左移几位。例如，...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
配置备份策略
说明 异地备份依赖于本地备份，需要先有本地备份才可以有异地备份，但是异地备份的频率、周期和数据保留策略可以与本地备份不同。数据恢复一般依赖恢复时间点前最近的一次数据备份和之间的日志备份。为了保证保留天数范围内的数据可恢复，...
按量付费云资源账单结算策略调整及计费精度提升
保留元后最长10位小数 抹零金额 保留元后6位小数 保留元后最长10位小数 1、费用与成本控制台>费用>账单>账单详情 2、费用与成本控制台>成本>成本分摊>分账账单 目录总价 保留元后6位小数 保留元后最长10位小数 优惠金额 保留元后6位小数 ...
内存型
基于Tair Vector实现图文多模态检索 基于Tair Vector实现分子结构近似检索 基于Tair与LLM构建企业专属Chatbot 企业级特性 企业级特性 说明 通过数据闪回按时间点恢复数据 开启 Tair 的数据闪回功能后，Tair 最长可将AOF备份数据保留7天，...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
关键概念
假设数据存储在名为 my_database 的数据库中，并受到数据保留策略 autogen 的约束。其中，census 是measurement；time 列中的是时间戳；butterflies 和 honeybees 都是field key，butterflies 列和 honeybees 列中的数据是field value，...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
CREATE TABLE
在数据写入量较大的场景中可以很好的实现数据均衡，搜索引擎默认按照主键进行HASH分区，同时也支持自定义的业务分区键。使用一级HASH分区时，如果自定义的HASH键存在热点问题，则可能导致大量数据写入同一个分区中，影响查询和写入性能，...
UpdateBackupPolicy
至少需要指定2天，7位数数值，从左到右每一位数值代表周一到周日是否开启备份。取值0代表不备份，取值1代表备份：第一位数值：周一 第二位数值：周二 第三位数值：周三 第四位数值：周四 第五位数值：周五 第六位数值：周六 第七位数值：...
备份SQL Server数据
RDS SQL Server支持自动备份和手动备份两种方式，您可以通过设置备份策略调整RDS数据备份和日志备份的周期实现自动备份，或手动备份数据。备份功能说明 数据备份 备份方式 功能说明 物理备份 支持全量物理备份和增量物理备份，暂不支持逻辑...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
DescribeBackupPolicy
至少需要指定2天，7位数数值，从左到右每一位数值代表周一到周日是否开启备份。取值0代表不备份，取值1代表备份：第一位数值：周一 第二位数值：周二 第三位数值：周三 第四位数值：周四 第五位数值：周五 第六位数值：周六 第七位数值：...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
数据类型
命令开启Hive兼容模式时，Decimal(precision,scale)类型在数据导入（Tunnel Upload）和SQL运算过程中，如果数据的小数位数超过 scale 的大小，则会进行四舍五入的处理。如果整数部分超出限制，则会报错。当参数 odps.sql.decimal.tostring....
DML操作常见问题
执行SELECT操作保留2位小数，执行INSERT SELECT操作，结果显示多个小数位。产生原因 对于INSERT SELECT操作，原始字段类型是STRING，在隐式转换为目标类型DECIMAL的过程中，先转换为DOUBLE类型，然后在DOUBLE类型数据的基础上执行ROUND操作...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
数据探查全局配置
支持时间范围为0~24小时（不包括0），支持设置最多一位小数。高级参数配置 开启后，支持针对全局探查任务设置set参数，以便对探查任务运行进行调优或适配某些计算引擎的特殊设置。单击参数配置框的 参考示例，可查看并复制参考语句。单击 ...
- 产品推荐
- 这些文档可能帮助您