配置Oracle输出组件
对于没有同步写权限的数据源，您可以数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请数据源权限。如果您还没有Oracle类型的数据源，单击 图标，创建数据源。具体操作，请参见 创建Oracle数据源。表 选择数据同步中输出...
配置Oracle输出组件
对于没有同步写权限的数据源，您可以数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请数据源权限。如果您还没有Oracle类型的数据源，单击 图标，创建数据源。具体操作，请参见 创建Oracle数据源。表 选择数据同步中输出...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
常用案例
本文通过设置数据源的六个实操案例介绍如何使用数据过滤器，帮您快速了解数据过滤器的相关配置。前提条件 已进入画布编辑器页面。案例一：数据格式转换 在 画布编辑器 页面，添加 环图 组件。单击右侧配置面板的数据 图标，进入数据设置页...
什么是云数据库MongoDB版
MongoDB的数据结构 MongoDB是面向文档的NoSQL（非关系型）数据库，它的数据结构由字段（Field）和值（Value）组成，类似于JSON对象，示例如下：{ name:"张三",sex:"男性",age:30 } MongoDB的存储结构 MongoDB的存储结构区别于传统的关系型...
流式数据通道概述
提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据做进一步处理，已经支持数据聚合（Merge）：提升存储效率。应用场景 MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量事件日志实时写入...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
UDAF概述
读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表数据：做过表结构修改（Schema Evolution）的表数据。包含复杂数据类型的表数据。包含JSON数据类型的表数据。Transactional表的表数据。注意事项 使用自定义函数时，您需要注意...
使用Topic通信
设备与云端基于Alink协议进行物模型数据通信，包括设备上报属性或事件消息到云端，从云端下发设置属性或调用服务消息到设备，demo示例请参见 物模型通信。设备接入、物模型使用的入门视频，请参见 设备接入。不同协议、不同类型设备接入物...
权限管理与规范化数据开发
空间级别-开发角色：可以做任务开发的工作，如DataStudio任务开发、数据服务开发、DQC配置等。空间级别-运维角色：负责配置资源与任务部署，如配置数据源、发布任务。空间级别-部署角色：仅负责发布任务。空间级别-模型设计师角色：仅能...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
DescribeChannelDistributionStatData
调用DescribeChannelDistributionStatData获取频道分布统计数据。使用说明 本接口用于获取频道分布统计数据。您可以按系统类型或SDK版本不同维度统计数据。QPS限制 本接口的单用户QPS限制为10次/秒。超过限制，API调用会被限流，这可能会...
常见问题
对于内部表，所有的数据都存储在MaxCompute中，表中列的数据类型可以是MaxCompute支持的任意一种数据类型。对于外部表，MaxCompute并不真正持有数据，表格的数据可以存放在OSS或OTS中。MaxCompute仅会记录表格的Meta信息，您可以通过...
MaxCompute UDF概述
UDF（User-Defined Function）即自定义函数，当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文中的开发流程及使用示例，自行编写代码逻辑创建自定义函数，以满足多样化业务需求。背景信息 广义的UDF定义是 自定义标量...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
透明数据加密概述
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的未知用户将不允许访问明文数据。透明：数据在使用过程中无感知，数据在...
数据标准
单击 自定义标准 文件夹，右键菜单选择 新建自定义标准，编辑 标准属性、引用代码、自定义属性，可以新增数据标准。数据标准使用 数据标准创建完成后，需要将数据标准导入DataWorks，再使用建模工具DDM客户端同步导入DataWorks中的数据标准...
物联网平台通信方式概述
您的设备和服务器接入阿里云物联网平台后，可通过物联网平台实现设备与服务器、设备与设备间的通信。本文介绍设备、物联网平台、服务器间通信的方法。背景信息 设备通过消息Topic实现消息的发送和接收，消息通信Topic的定义、使用和分类...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
数据库代理常见问题
数据库代理地址（读写分离地址）可以修改，具体操作，请参见 设置数据库代理连接地址。主实例写的频率不高，能不能让读请求也发送给主实例？能。设置读权重分配时，为主实例也设置权重即可。如何为主实例设置权重，请参见 开通数据库代理。...
DescribeChannelOverallData-查询频道概览数据
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 AppId string 是 APP ID。testappid ChannelId string 是 频道 ID。testid CreatedTs long 是 创建...
公开数据集概述
简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。所有的数据均存储在MaxCompute产品的公开项目BIGDATA_PUBLIC_DATASET的不同Schema中。...
从Amazon RDS for PostgreSQL增量迁移至阿里云
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库迁移。前提条件 Amazon RDS for PostgreSQL的数据库版本为10.4或以上版本。为保障DTS能够通过公网连接Amazon ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
简介
观星台是阿里云音视频通信为开发者提供的通信质量监测平台，分为通信监测、用量统计、质量统计和异常诊断模块，通过提供全链路的质量监控，帮助您及时发现并定位问题，可以有效的降低业务运维成本，并提高产品的使用体验。应用场景 应用...
Java UDAF
} } 在本地运行调试UDAF，确保代码可以运行成功。更多调试操作，请参见 通过本地运行调试UDF。说明 运行参数可参照图示数据填写。将创建的UDAF打包为JAR包，上传至MaxCompute项目并注册函数。例如函数名称为 user_udaf。更多打包操作，请...
产品概述
DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、移动端报表等各类数据可视化应用的搭建，并集成到您的业务系统中。...
配置数据订阅任务
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入任意目标端，适配各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。本文将介绍在DTS专属...
从Amazon Aurora PostgreSQL迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon Aurora PostgreSQL的数据迁移至阿里云（如RDS PostgreSQL和 PolarDB PostgreSQL版）。本文以Amazon Aurora PostgreSQL迁移至 RDS PostgreSQL 为例，为您介绍操作...
DescribeQoeMetricData-单次通信中下行体验质量指标
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 AppId string 是 APP ID。testappid ChannelId string 是 频道 ID。testid CreatedTs long 是 创建...
新建过滤器
数据过滤器功能 在DataV中可以使用数据过滤器，可以通过自定义JavaScript代码，实现数据结构转换、数据筛选展示和一些简单的计算。前提条件 已进入画布编辑器页面。新建过滤器 您可以通过以下两种方法新建过滤器。通过 数据过滤器 新建。在...
UDF开发（Java）
当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文提供的开发流程，使用开发工具（例如IntelliJ IDEA（Maven）或 MaxCompute Studio）自行编写代码逻辑创建自定义函数（UDF），并在MaxCompute中进行调用，以满足多样化...
从Amazon Aurora MySQL迁移至PolarDB MySQL版
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库迁移。前提条件 为保障DTS可以通过公网连接至Amazon Aurora MySQL，Amazon Aurora MySQL的网络与安全配置中须...
自建Oracle迁移至PolarDB-X
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用平滑地完成Oracle数据库的数据迁移工作。本文以PolarDB-X 2.0为例，介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle数据库迁移至...
配置Greenplum输出组件
配置Greenplum输出组件，可以将外部数据库中读取的数据写入到Greenplum，或从大数据平台对接的存储系统中将数据复制推送至Greenplum，进行数据整合和再加工。本文为您介绍如何配置Greenplum输出组件。前提条件 已创建Greenplum数据源。具体...
配置Greenplum输出组件
配置Greenplum输出组件，可以将外部数据库中读取的数据写入到Greenplum，或从大数据平台对接的存储系统中将数据复制推送至Greenplum，进行数据整合和再加工。本文为您介绍如何配置Greenplum输出组件。前提条件 已创建Greenplum数据源。具体...
从Amazon RDS MySQL迁移至阿里云
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库迁移。前提条件 为保障DTS能够通过公网连接至Amazon RDS MySQL，需要将Amazon RDS MySQL的 公开访问 设置为 是...
- 产品推荐
- 这些文档可能帮助您