跨阿里云账号实现数据传输
数据库实例 阿里云数据库 自建数据库 源库 RDS MySQL、RDS MariaDB、RDS PostgreSQL、PolarDB-X 1.0、PolarDB-X 2.0、PolarDB PostgreSQL版、PolarDB PostgreSQL版（兼容Oracle）、PolarDB MySQL版、云数据库Redis、云原生内存数据库Tair、...
快速入门
本文介绍大数据专家服务的购买方式。价格 版本定价说明：点击查看价格。操作步骤 第一步：进入阿里云官网，打开 大数据专家服务 产品详情。第二步：点击大数据专家服务产品详情页中的“咨询购买”接入钉群与专家服务同学沟通场景需求。第三...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
存储成本优化
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
什么是阿里云CLI？
您可以在命令行Shell中，使用 aliyun 命令与阿里云服务进行交互，管理您的阿里云资源。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以基于阿里云CLI开发Shell脚本，来管理和维护自己的阿里云资源。使用之前，确保您已经开通了要...
接入数据库实例
功能说明 DAS支持接入阿里云数据库、阿里云ECS自建数据库、其他自建或其他云厂商数据库（包括本地IDC的自建数据库、其他云上的自建数据库、其他云上的云数据库等）。对于阿里云数据库，创建实例后会自动接入DAS，无需手动接入。功能限制 ...
计算费用（包年包月）
如果您的任务量较稳定，建议对于消耗资源较少的任务购买包年包月预留计算资源，资源较大的任务购买按I/O按量计费资源，这样可以保证任务运行时一直有CU资源。包月标准版和包年包月套餐版规格详情，请参见 包年包月标准版 和 包年包月套餐版...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
多账号统一管理
便于企业有效地执行数据安全管理任务，如自动发现敏感数据、数据分类分级、以及对潜在安全威胁的监测和报警。本文介绍如何使用多账号统一管理功能。使用须知 使用多账号统一管理功能的阿里云账号和被管理的阿里云账号必须同属于一个资源...
NVR注册、国标级联接入流程
在下级视图计算管理平台配置国标级联 说明 国标级联协议选择“GB/T28181-2016”信令网关编码处填写阿里云视图计算接入网关设备国标ID（在空间详情信息中可获取，20位国标ID）信令网关IP地址处填写阿里云视图计算接入网关IP（在空间详情信息...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
跨阿里云账号任务如何配置RAM授权
数据库实例 阿里云数据库 自建数据库 源库 RDS MySQL、RDS MariaDB、RDS PostgreSQL、PolarDB-X 1.0、PolarDB-X 2.0、PolarDB PostgreSQL版、PolarDB PostgreSQL版（兼容Oracle）、PolarDB MySQL版、云数据库Redis、云原生内存数据库Tair、...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
发展历程
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
兼容性概览
为了帮助您更清晰地使用外部工具连接访问MaxCompute，本文将为您介绍MaxCompute支持连接的数据库管理工具，以及工具与MaxCompute在数据库连通性、列举数据库、查看表等方面的兼容性。数据库管理工具与MaxCompute的兼容性如下。工具 连接...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
ProjectProtection
开启或关闭项目空间的数据保护机制。您只能在项目空间中访问数据。数据只能在项目空间内流动，不允许流出到项目空间之外，以提高数据的安全性。使用限制 本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令，仅支持在客户端...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响...
近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
上云须知
阿里云电子政务云主要服务于政务用户，基于合规需求和安全考虑，阿里云电子政务云与公共云在使用上有部分区别，请在使用阿里云电子政务云前仔细阅读本文档。开放地域 阿里云电子政务云采用独立机房集群部署，根据客户需求逐步开放，目前...
如何完成 MFA 应用切换
新版 阿里云 App（V4.6 及以上版本）增加了“虚拟 MFA”工具，集成了 MFA 身份验证器的功能。我们强烈推荐您使用“阿里云 App”作为您的 MFA 身份验证器，我们具备如下优势：阿里云 App 具备更高的安全能力，除了手机本身的锁屏密码之外，...
邮件监控
阿里邮箱邮件监控的主要作用：根据企业需求对部分或全部员工的阿里邮箱内收发的邮件进行监控。有助于企业备份邮件，保存重要信息和证据。邮件监控功能特点：阿里邮箱邮件监控功能，可以将被监控邮箱收发的邮件自动复制到监控者的邮箱中。该...
配额
配额（Quota）是MaxCompute的计算资源池，为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源（CPU及内存）。您可以根据实际业务合理设置配额组，确保资源的合理分配和利用，防止某一部分任务占用过多资源而影响...
JSON_TYPE
返回JSON数据所属的数据类型名称。命令格式 string|number|boolean|null|object|array json_type()参数说明 json：必填，待处理的JSON表达式。返回值说明 返回STRING类型。使用示例 示例1：返回JSON内的数据类型（array类型）。select json...
数据资产等级定义
MaxCompute进行数据加工基本流程为从业务系统上产生数据，通过同步工具（DataWorks的数据集成或阿里云DTS）进入数据数仓系统（MaxCompute），数据在数仓中进行清洗、加工、整合、算法、模型等一系列运算后，再通过同步工具输出到数据产品中...
LIST TRUSTEDPROJECTS
相关命令 ProjectProtection：开启项目空间的数据保护机制。ADD TRUSTEDPROJECT：在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。REMOVE TRUSTEDPROJECT：在当前项目中删除已添加的可信的项目。
产品计费
计费概述 计算巢平台不收取平台使用费，只收取服务和服务部署时使用的阿里云云资源的费用。计费项 计费项 计费说明 计费方式 计算巢平台 计算巢是一个功能平台，不收取平台的使用费。无 服务 根据服务商是否将计算巢服务关联至阿里云云市场...
使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
可信设备管理
什么是可信设备？...可信设备是某些操作的前提，例如只有可信设备才可以开启“PC 安全验证”功能。如何添加可信设备？...3.验证成功后，您就可以在可信设备列表页面中看到自己的当前设备了；...如何删除可信设备？...4.在弹出的验证界面完成指纹/手势...
ODPS-0123091
ODPS-0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型...
时区配置操作
对于早于1900-01-01的DATETIME数据，SQL的计算显示结果和Tunnel传输数据仍然可能存在343秒的差异。对于新版本SDK或客户端，之前已经上传的早于1928-01-01的DATETIME数据，在新版本中日期时间会减少352秒。如果继续使用不带有-oversea 后缀...
ADD TRUSTEDPROJECT
在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。命令格式 add trustedproject;参数说明 参数名称 是否必填 说明 project_name 是 待添加可信项目空间的名称。相关命令 ProjectProtection：开启项目空间的数据...
SELECT MATERIALIZED VIEW
背景信息 物化视图状态分为如下两种：物化视图有效 执行查询语句时，MaxCompute会从物化视图中直接查询数据，不会从源数据中查询数据。物化视图无效 执行查询语句时，MaxCompute无法从物化视图中直接查询数据，会从源数据中查询数据，无法...
COST SQL
计量预估，基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意...
REMOVE TRUSTEDPROJECT
相关命令 ProjectProtection：开启项目空间的数据保护机制。LIST TRUSTEDPROJECTS：在当前项目空间中查看已添加的可信的项目空间。ADD TRUSTEDPROJECT：在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。
- 产品推荐
- 这些文档可能帮助您