Java UDAF
signature 为函数签名，用于定义函数的输入参数和返回值的数据类型。UDAF无法通过反射分析获取函数签名，只能通过@Resolve 注解方式获取函数签名，例如@Resolve("smallint->varchar(10)")。更多@Resolve 注解信息，请参见@Resolve注解。...
创建自定义组件
您可以在Designer中将自定义组件和PAI官方组件串联使用，实现更灵活的工作流编排。本文为您介绍如何创建自定义组件。背景信息 自定义组件底层采用了阿里云开源的KubeDL，这是一个基于Kubernetes的AI工作负载管理框架。创建自定义组件支持...
云数据库 RDS SQL Server 版如何批量导入数据
bcp_test in"d:\tmp\my_test_data_file.txt"/f"d:\tmp\my_bcp_test.xml"/q/k/h"CHECK_CONSTRAINTS"/U jacky/P xxx/S"xxx.sqlserver.rds.aliyuncs.com,3333"通过JDBC SQLBulkCopy方式 通过JDBC SQLBulkCopy方式批量导入数据的方法如下所示。...
AI加速使用案例汇总
数据集加速器使用案例 案例名称 描述 在PAI平台使用数据集加速器 介绍如何在创建DSW实例或提交训练任务时直接使用已开启加速的数据集。分布式训练加速使用案例 案例名称 描述 NLP：TorchAcc提速BERT Base分布式训练 介绍如何在BERT-Base...
向量计算（Proxima CE）概述
Proxima CE的使用十分简洁，以内嵌可执行JAR包的形式提供给用户在MaxCompute上运行，支持以MaxCompute表的形式作为底库和查询向量数据的输入，整体上分为索引构建和批量查询两个主要过程，驱动多个MaxCompute MapReduce或Graph Job，完成对...
数据传输服务（上传）场景与工具
产品工具：MaxCompute客户端基于 批量数据通道 的SDK，实现了内置的Tunnel命令，可对数据进行上传，Tunnel命令的使用请参见 Tunnel命令。说明 对于离线数据的同步，推荐您优先使用数据集成，详情请参见 数据集成概述。流式数据通道写入 ...
大量数据导出方案
21 bytes download OK SQLTask配合Tunnel方式导出 SQLTask不能处理超过1万条数据，而Tunnel方式可以，两者可以互补，因此可以基于两者实现超过1万条数据的导出。代码实现的示例如下。Odps odps=OdpsUtils.newDefaultOdps();初始化Odps对象...
预置Processor使用说明
xxxx","score":0.2,"details":[{"k1":0.3},{"k2":0.5}]},{"label":"xxxx","score":0.2,"details":[{"k1":0.3},{"k2":0.5}]}]EasyTransfer Processor EAS 提供的EasyTransfer Processor可以加载EasyTransfer框架训练得到的基于TensorFlow的...
功能特性
阿里云Flink（流式）DataHub（实时）DataHub是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能构建基于流式数据的分析和应用。DataHub（实时）SLS投递 将日志服务采集的...
数据集成概述
通过离线单条管道构建同步任务 离线的数据管道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据输入组件、数据输出组件及流程和转换组件，并基于此框架设计一套简化版的中间数据传输格式，从而实现数据源之间数据传输。...
基本概念
Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在数据库的变化表中，通过订阅变化数据的方式实现数据的秒级同步。MySQL Binlog：实时数据同步模式，通过同步并解析记录所有...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
什么是数据资源平台
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
新建及管理标准模板
标准模板用于定义创建数据标准时需要填写的属性信息，以便对数据标准进行规范化定义。本文为您介绍如何新建及管理标准模板。权限说明 超级管理员和数据标准管理员可新建及管理标准模板。超级管理员、数据标准管理员及模板维护人员可以编辑...
新建及管理标准模板
标准模板用于定义创建数据标准时需要填写的属性信息，以便对数据标准进行规范化定义。本文为您介绍如何新建及管理标准模板。权限说明 超级管理员和数据标准管理员可新建及管理标准模板。超级管理员、数据标准管理员及模板维护人员可以编辑...
一键MaxCompute表结构同步节点
DataWorks是基于 IMPORT FOREIGN SCHEMA 语句实现可视化方式的一键MaxCompute表结构同步Hologres。使用限制 仅支持使用该功能加速查询MaxCompute内部表的数据，不支持加速查询MaxCompute外部表的数据和视图。进入一键MaxCompute表结构同步...
功能更新动态（2023年）
配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 实时研发 实时任务研发体验流程优化：Flink SQL任务支持通过数据源编码的方式访问MySQL、Hologres和...
文档更新动态（2024年）
新增集成任务列表，支持批量提交、批量下线删除、批量调度/依赖/参数/运行配置、批量移动目录、批量转交开发负责人、批量获取锁操作。新增Amazon S3输入输出组件。脚本模式输入输出组件字符数扩增至50万。过滤组件新增START WITH和END WITH...
功能更新动态（2024年）
创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务列表，支持批量提交...
部署推理服务
PAI Python SDK提供了易用的API（即HighLevel API），支持用户将模型部署到PAI创建推理...print(tf_predictor.inspect_signature_def())#TensorFlow processor的输入要求一个Dict，Key是模型输入签名的名称，Value是具体的输入数据。tf_result...
Wi-Fi设备接入物联网平台
下面是需要设备商在产品上实现、而不是SDK提供的功能：Wi-Fi热点信息输入，让Wi-Fi设备可以连接Wi-Fi AP。通过DHCP Client从路由器获取IP地址，或者手动指定IP地址功能。云端开发 创建Wi-Fi产品：开发者需要在云端创建产品，定义产品功能，...
2021年
本文为您介绍了MaxCompute 2021年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2021年12月更新记录 时间 特性 类别 ...
PolarDB HTAP实时数据分析技术解密
在PolarDB中，除原生MySQL的行存串行执行外，还有能够发挥多核计算能力的基于行存的Parallel Query功能。因此，优化器会在行存串行执行、行存Parallel Query和IMCI三个选项之中选择。在目前的迭代阶段，优化器按如下的流程执行：执行SQL的...
创建并管理数据集
仅支持以 抽取 连接方式的API数据源互相关联。构建模型并关联数据的更多操作，请参见 构建模型。配置字段 构建好模型后，Quick BI会自动预览数据，并解析出维度和度量字段，用于后续的数据分析。您可以编辑字段名称、字段类型、数值或日期...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
在EMR集群之上运行的应用程序通过该角色来获得与其他云服务交互的权限，实现以免AccessKey的方式访问阿里云资源，避免了在配置文件中暴露AccessKey的风险。前提条件 已授权该角色，详情请参见 阿里云账号角色授权。背景信息 当前...
文档更新动态（2023年）
更新说明 通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 调度配置 支持设置不依赖corn表达式的固定间隔时间的调度。...
列存索引技术架构介绍
在 PolarDB 中，除原生MySQL的行存串行执行外，还有能够发挥多核计算能力的基于行存的Parallel Query功能。因此，实际优化器会在行存串行执行、行存Parallel Query、以及IMCI三个之中选择其一。在目前的迭代阶段，优化器按如下的流程执行：...
同步 OceanBase 数据库的数据至 RocketMQ
背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase 数据库的物理表和 RocketMQ 数据源之间的数据实时同步，扩展消息处理能力。...
创建业务流程
删除业务流程中的节点 通过批量功能删除 如果您需要批量修改任务调度属性（例如，批量修改任务使用的资源组），或批量提交评审等操作，您可以使用 批量操作 功能，批量操作支持使用节点类型、业务流程、调度资源组等条件进行筛选，批量处理...
数据上云工具
阿里云数加产品 MaxCompute客户端（Tunnel通道系列）客户端基于 批量数据通道 的SDK，实现了内置的Tunnel命令，可对数据进行上传和下载，Tunnel命令的使用请参见 Tunnel命令的基本使用介绍。客户端的安装和基本使用方法请参见 客户端介绍。...
通用批量导入服务
您无需开发任何代码就可以实现数据的批量快速旁路加载。成本低。LTS Bulkload基于Serverless Spark提供的云原生弹性能力，根据您的需求提供弹性计算资源按量收费，您无需经常配置计算资源，可以降低使用成本。前提条件 已开通并登录LTS数据...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
新建元表
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
新建元表
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
在GPU实例上使用RAPIDS加速图像搜索任务
本文案例中，使用开源框架TensorFlow和Keras配置生产环境，然后使用ResNet50卷积神经网络完成图像的特征提取及向量化，最后使用RAPIDS cuML库的KNN算法实现BF方式的向量索引和检索。说明 BF（Brute Force）检索方法是一种百分百准确的方法...
功能更新动态（2022年）
2022年10月25日 华北2（北京）资产质量概述、创建数据表质量规则 2022年10月27日 华东1（杭州）2022年11月01日 华南1（深圳）2022年11月03日 华东2（上海）计算引擎 支持Dataphin可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理...
文档更新动态（2022年之前）
系统通过项目粒度的方式，管控项目中的元表和物理表的读取和写入数据的权限申请。规避了审批者误操作，导致的数据泄露与安全问题。通用功能 创建项目 2020-09-17 编辑项目 功能拓展 Dev-Prod开发模式中，新增同时为Dev和Prod项目添加成员的...
2020年
新功能 MaxCompute Streaming Tunnel服务是MaxCompute批量数据通道的扩展服务，提供了一套全新的API及后端服务，方便流式服务作为上游服务将数据写入MaxCompute。流式数据通道概述 2020-12-24 新增MaxCompute Spark使用及常见问题视频。新...
自建Oracle迁移至PolarDB-X
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用平滑地完成Oracle数据库的数据迁移工作。本文以PolarDB-X 2.0为例，介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle数据库迁移至...
- 产品推荐
- 这些文档可能帮助您