通过云计算资源导入逻辑表
您可以将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已添加工作组，具体操作，请参见 新建工作组。已新建目录，具体操作，请...
什么是DataTrust
Party Computation，MPC）、联邦学习（Federated Learning，FL）、差分隐私（Differential Privacy，DP）等隐私增强计算（Privacy Enhancing Technique）技术打造的隐私增强计算平台，在保障数据隐私及安全前提下完成多方数据隐私求交、...
实验介绍
云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
什么是EMR on ECS
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息...
客户案例
客户需求 海量数据处理效率下降，离线数据计算时长不稳定。实时计算不开发维护代价大，希望对数仓进行综合治理。价值体现 基于飞天大数据平台产品，快狗打车不仅机器成本节约30%以上，数据开发效率提升100%。从Java Storm迁移到Flink SQL使...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
计费项
通过阅读本文，您可以快速了解EMR Serverless StarRocks的计费资源和计费方式等计费信息。计费资源 计费项 说明 计算CU 使用StarRocks写入和查询等操作所需要的计算资源总量。单位是CU（1 CU=4 GiB内存+1 CPU Core）。云盘存储 您在...
复合指标
由于派生指标只是针对某业务活动某段时间的数据量统计，无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求（例如，统计某业务活动的周环比增长率）。因此，DataWorks为您提供了由派生指标通过运算规则进行计算而形成的复合...
简介
能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS/WMTS等服务发布以及基于Spark的高性能分布式计算引擎支持海量栅格图像分析和处理。...
成本优化概述
由于大数据的动态性和不断变化的性质，企业用户成本优化的活动应该持续不断的进行。您可以参考以下流程进行优化：在使用MaxCompute之前，建议您详细了解付费策略以及预估自己需要使用的资源，选择适合您的付费方式。详情请参见 选择付费...
性能指标
用户在配置PSI任务时可以选择是否使用PSI缓存任务，如果选择使用PSI缓存任务，则可以只对增量数据进行PSI计算，适用于大数据量场景、增量更新较少的场景下的周期性PSI安全求交计算。以下是一组使用PSI缓存任务、不使用PSI缓存任务的性能...
PyODPS概述
如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，拉取数据到本地彻底丧失了MaxCompute的大规模并行能力的优势...
Tunnel操作
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
自定义函数（邀测中）
AnalyticDB for MySQL 未开启压缩，将数据直接传输至函数计算服务，函数计算服务经过计算后，将计算结果使用GZIP格式压缩后返回给 AnalyticDB for MySQL，导致 AnalyticDB for MySQL 无法解析数据。调用 REMOTE_CALL 函数时，出现 parse ...
2017年功能发布记录
物联网平台通信方式概述 全新版本控制台 新增 函数计算正式推出全新版本控制台，新版控制台提供计量数据和各种分类导航，整体界面紧凑简洁，编辑页面使用抽屉推出方式，减少大量界面交互跳转。让您在一个页面里操作多个功能。新推出的控制...
Serverless Spark概述
DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓...
概览
计费方式 计算节点的费用计算方式 优势 适用场景 按量付费+固定规格计算包 根据实际使用的计算能力产生费用。预购的固定规格计算包会自动抵扣这些费用。灵活，低价 业务量大，波动频繁，波动量大。按量付费 根据实际使用的计算能力产生费用...
概览
购买方式 计算节点的费用计算方式 优势 适用场景 按量付费+固定规格计算包 根据实际使用的计算能力产生费用。预购的固定规格计算包会自动抵扣这些费用。灵活，低价 业务量大，波动频繁，波动量大。按量付费 根据实际使用的计算能力产生费用...
企业版产品系列
共享分布式存储（PolarStore）多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于分布式块存储和文件系统，存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB...
镜像使用说明
AI与大数据领域的镜像尺寸常见于GB级别，函数计算 一方面提高了镜像大小的限制，另一方面提供了镜像加速。本文介绍镜像大小限制、通用镜像加速方式以及官方基础镜像的说明和使用方式。未解压镜像大小限制 针对未解压镜像，镜像大小限制与您...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
快速体验
云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...
基础概念
语法详述见 功能概览 使用过程中请注意：iGraph Gremlin语法与开源使用差异 其他相关服务 MaxCompute：大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布...
CDM汇总层设计规范
您可依据3个月内的最大需要访问的跨度设置保留策略，具体计算方式如下：当3个月内的最大访问跨度小于或等于4天时，建议将保留天数设为7天。当3个月内的最大访问跨度小于或等于12天时，建议将保留天数设为15天。当3个月内的最大访问跨度小于...
镜像使用说明
AI与大数据领域的镜像尺寸常见于GB级别，函数计算 一方面提高了镜像大小的限制，另一方面提供了镜像加速。本文介绍镜像大小限制、通用镜像加速方式以及官方基础镜像的说明和使用方式。未解压镜像大小限制 针对未解压镜像，镜像大小限制与您...
步骤三：创建隐私计算任务并执行
本文整体介绍，如何快速创建DataTrust隐私计算任务，进行隐私计算 一、DataTrust隐私计算能力列表 DataTrust当前具备：四大隐私计算通用能力、三大隐私计算定制能力 功能类型 功能名称 功能描述 通用能力 ID安全匹配 TrustDA/PSI 在不泄漏...
Java UDAF
因为MaxCompute使用分布式计算的方式来处理聚合函数，因此需要知道如何序列化和反序列化数据，以便于数据在不同的设备之间进行传输。编写Java UDAF时可以使用Java Type或Java Writable Type，MaxCompute项目支持处理的数据类型与Java数据...
（邀测）MaxCompute Notebook使用说明
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。版本说明 当前MaxCompute Notebook功能处于邀测阶段，每个租户最多可启动3个Notebook实例，每个...
表设计规范
其中，导入数据场景按照实时数据采集和离线导入批量数据的方式分为如下三种：导入后立即查询与计算。导入后立即查询与计算，需要考虑每次导入的数据量，减少流式小量数据导入。多次导入并定时查询与计算。导入后生成中间表进行计算。合理的...
低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
低成本RDS历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
应用场景：低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过APP写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
使用DataWorks连接
使用DataWorks连接MaxCompute有如下方式：数据分析的 SQL查询 功能：实现编辑MaxCompute SQL、查询数据、分析数据（电子表格）、在线分享数据及下载数据等功能。SQL查询功能详情请参见 SQL查询。数据开发的MaxCompute任务节点：DataWorks将...
计费方式3：包年包月
相比普通的按量付费方式，尽管在购买之初就支付了计算节点的费用，但在业务量大的情况下使用包年包月的购买方式更优惠。搭配存储包 PolarDB 的存储空间可根据数据量自动伸缩无需您手动配置，您只需为实际使用的存储空间付费。由于存储空间...
CDM明细层设计规范
您可依据3个月内的最大需要访问的跨度设置保留策略，具体计算方式如下：当3个月内的最大访问跨度小于或等于4天时，建议将保留天数设为7天。当3个月内的最大访问跨度小于或等于12天时，建议将保留天数设为15天。当3个月内的最大访问跨度小于...
CDM公共维度层设计规范
您可依据3个月内的最大需要访问的跨度设置保留策略，具体计算方式如下：当3个月内的最大访问跨度小于或等于4天时，建议将保留天数设为7天。当3个月内的最大访问跨度小于或等于12天时，建议将保留天数设为15天。当3个月内的最大访问跨度小于...
- 产品推荐
- 这些文档可能帮助您