创建Microsoft SQL Server数据源
类型 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
NVR注册、国标级联接入流程
在下级视图计算管理平台配置国标级联 说明 国标级联协议选择“GB/T28181-2016”信令网关编码处填写阿里云视图计算接入网关设备国标ID（在空间详情信息中可获取，20位国标ID）信令网关IP地址处填写阿里云视图计算接入网关IP（在空间详情信息...
创建MySQL数据源
访问方式 支持公网数据库、阿里云数据库与ECS(VPC)自建数据库，您可根据您数据库类型及业务情况进行选择与配置：公网数据库：通过公网可直接访问的数据库。阿里云数据库：在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
Logview诊断实践
比如：某些UDF在内存计算、排序的数据量比较大时，会报内存溢出错误。内存不足引起gc频率过高。这时可以尝试调整内存参数，不过此方法只能暂时缓解，具体的优化还是需要从业务上去处理。示例如下：set odps.sql.udf.jvm.memory=-设定UDF ...
跨阿里云账号迁移RDS实例
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
导入数据
数据查询提供数据导入功能，可将数据直接进行导入，并且提供快速预览和一键探查。本文介绍如何导入数据。前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
PyODPS概述
整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用DataWorks节点的用户来说，很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...
新建 MySQL 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输新建 MySQL 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
新建 Oracle 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
Paimon外部表
阿里云实时计算Flink版、开源大数据平台E-MapReduce 的常见计算引擎（如Spark、Hive或Trino）都与Paimon有完善的集成。借助Apache Paimon，您可以快速构建自己的数据湖存储服务在存储服务OSS上，并接入MaxCompute实现数据湖的分析。关于...
将多个阿里云账号的事件投递到同一账号
在 审计事件投递 区域，设置将跟踪分别投递到日志服务SLS、对象存储OSS或大数据计算服务MaxCompute，或者同时进行投递。关于如何选择存储服务，请参见 将事件持续投递到指定服务。选择 将事件投递到日志服务SLS，然后选择 投递到其他账号，...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
操作审计事件数据迁移至MaxCompute
审计事件投递 区域：选择 将事件投递到大数据计算服务MaxCompute。选择 投递到本账号，设置如下参数。参数 描述 大数据计算服务地域 被投递数据的MaxCompute项目所在地域。说明 操作审计会将审计日志投递至MaxCompute指定地域下的...
多账号统一管理
便于企业有效地执行数据安全管理任务，如自动发现敏感数据、数据分类分级、以及对潜在安全威胁的监测和报警。本文介绍如何使用多账号统一管理功能。使用须知 使用多账号统一管理功能的阿里云账号和被管理的阿里云账号必须同属于一个资源...
接入阿里云数据库实例
本文介绍如何在数据库自治服务DAS中接入阿里云数据库实例。前提条件 目标数据库实例为：RDS MySQL、PolarDB MySQL版、MyBase MySQL RDS PostgreSQL、PolarDB PostgreSQL版 RDS SQL Server、MyBase SQL Server Redis、MyBase Redis PolarDB ...
阿里云MaxCompute数据源
概述 云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，并保障数据...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
创建通用项目
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐此模式。Basic模式：完成项目的创建后，系统默认生成了Basic项目（开发和生产一体的项目）。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发...
教程概述
本案例使用阿里云DTS将您的增量数据同步到DataHub上，再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算，并将结果插入到RDS数据库中，最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导，业务场景和数据与实际情况会有...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
什么是DataTrust
Party Computation，MPC）、联邦学习（Federated Learning，FL）、差分隐私（Differential Privacy，DP）等隐私增强计算（Privacy Enhancing Technique）技术打造的隐私增强计算平台，在保障数据隐私及安全前提下完成多方数据隐私求交、...
快速入门
因此请避免在PyODPS任务中写入数据量较大的Python处理代码。在DataWorks上编写代码并进行调试效率较低，为提升运行效率，建议本地安装IDEA进行代码开发。新建业务流程。进入 数据开发 页面，右键单击 业务流程，选择 新建业务流程。新建...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
使用MongoDB工具将自建数据库迁移至单节点实例
等待数据迁移完成，根据业务需求选择合适的时间，将业务切换至阿里云MongoDB实例。更多信息 数据库迁移至阿里云MongoDB实例后，您可以执行连接数据库、管理数据库和数据库账号等操作。通过Mongo Shell连接MongoDB单节点实例 MongoDB数据库...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
创建通用项目
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐此模式。Basic模式：完成项目的创建后，系统默认生成了Basic项目（开发和生产一体的项目）。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发...
兼容性概述
BI分析工具连接MaxCompute，能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源，为您带来更高效的数据分析体验。为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
发展历程
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
管理运维中心
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在 项目空间 页面，单击待操作项目所在行的 运行记录。单击上方的 概览 页签。展示当前项目...
创建Hologres数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至当前Hologres数据源，或将当前Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步解决...
公共规范
本文为您介绍建设MaxCompute数据仓库的公共规范。层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共...
数据连接管理
在配置任务时，您可以直接选择已录入的数据库，DTS将自动填入数据库信息而无需您手动输入，避免了重复输入数据库信息的繁琐步骤。本文介绍如何录入、保存、编辑或删除数据库实例。前提条件 若您需要录入其他阿里云账号的数据库，需要对登录...
回收站
云数据库 MongoDB 版 的回收站用于保存到期、欠费、已释放的 MongoDB 实例，您可以在 回收站 对这些实例进行续费解锁、重建、销毁等操作。注意事项 单节点实例释放后，不支持从 回收站 中恢复。Serverless实例释放后，不支持从 回收站 中...
数据中心隔离
阿里云电子政务云与阿里公共云的数据中心完全隔离，政务云采用独立的物理机房，为政务用户提供专属的云平台及云产品，保障政务用户在政务云上的业务数据不出政务云专属机房。独立的物理机房 为了满足国家法律法规和等保要求，阿里云电子...
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
- 产品推荐
- 这些文档可能帮助您