新功能发布记录
使用数据工作站功能可以提高数据交付效率和数据自助分析效率。数据工作站 2023年 11月 功能名称 变更类型 功能描述 相关文档 SQL备份与回滚 新增 使用DMS的SQL备份与回滚功能，快速将数据恢复到变更前的状态。SQL备份与回滚（公测中）SQL...
Tair Clients
为帮助您更方便地使用Tair扩展数据结构，云原生内存数据库Tair 在部分Redis客户端的基础上开发了Tair客户端，您可以通过Tair客户端直接调用Tair扩展数据结构。Tair客户端 说明 TairJedis TairJedis是基于Jedis开发的Tair客户端。...
UDF示例：引用表资源
开发代码 Python UDF代码如下，实现遍历引用的表资源（例如udf_test）中的数据，返回数组格式的数据。from odps.udf import annotate from odps.distcache import get_cache_table@annotate('->string')class DistCacheTableExample(object...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
py_engine
更正文档 概述 py_engine（Python轻应用引擎）以MicroPython为基础打造而成.可以快速实现IoT场景连云、控端、AI等最常见功能。快速上手文档和编程接口请参考 Python轻应用编程参考 组件支持以下功能：连云：支持基于linkSDK连接阿里云物...
加密函数
结合KMS封装的多密钥加密：MaxCompute支持结合KMS进行数据加密，系统会自动生成加解密数据的密钥集（Keyset），该Keyset与KMS密钥结合生成Keyset_KMS，用户需要保存keyset_KMS。若需要数据解密时，需要提供Keyset_KMS，然后系统会结合KMS...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
PolarDB处理TPC-H查询的挑战和机遇
PolarDB 列存已经支持了向量化的数据列计算，并有了完备的基于SIMD instruction的计算原语，不过编译执行目前还没有尝试。Common Subexpression Elimination 比如投影列中的AVG->SUM/COUNT，可以把重复的聚集操作去掉。这是MySQL比较薄弱的...
Redis Clients
云数据库Redis版 与原生Redis完全兼容，您可以根据自身应用特点选用任何兼容Redis协议的客户端，同时，云数据库Redis还提供了基于Jedis开发的Redis企业版专用客户端（TairJedis），支持数据结构模块集成能力。Redis 云数据库Redis版 与原生...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
PolarDB HTAP实时数据分析技术解密
MySQL+专用AP数据库的搭积木方案 专用分析型数据库产品众多，一个可选方案为：使用两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据实时同步。用户甚至可以增加一层proxy，自动将TP型负载路由至MySQL数据库，...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
在TDX实例中基于BigDL PPML构建全链路安全的分布式...
基于BigDL PPML解决方案，在阿里云TDX实例中运行标准的人工智能和大数据处理应用（例如Apache Spark、Apache Flink、TensorFlow、PyTorch等），可以保证数据传输的安全性、数据使用的安全性、应用程序的完整性。更多信息，请参见 BigDL-...
Python 2 UDTF读取MaxCompute资源示例
本文为您介绍基于MaxCompute客户端通过Python 2 UDTF读取MaxCompute资源的使用示例。前提条件 已安装MaxCompute客户端。更多安装MaxCompute客户端操作，请参见 安装并配置MaxCompute客户端。开发和使用步骤 1.代码开发 UDTF代码示例如下：#...
基于TairHash实现用户多设备登录管理
用户多设备登录管理示意图 代码示例 本示例的Python版本为3.8，且已安装 Tair-py 依赖，Tair-py的快捷安装命令为：pip3 install tair。coding:utf-8-*-#!usr/bin/env python import time from tair import Tair from tair import ...
Redis批量删除Key
在大型数据库中使用 KEYS 命令会影响数据库的性能，建议在数据较少时使用。通过KEYS命令，使用通配符模糊匹配所有符合条件的Key，再通过DEL命令删除这些Key。redis-cli-h<host>-a<password>KEYS"<key>"|xargs redis-cli-h<host>-a...
PyODPS常见问题
请检查当前工作路径下是否存在名为 odps.py 的文件。若存在，请改名后再执行导入操作。执行from odps import ODPS时，报错Cannot Import Module odps，如何解决？此报错通常是由于PyODPS遇到了依赖问题。您可以单击 申请链接 添加PyODPS...
Python SDK常见问题
请检查当前工作路径下是否存在名为 odps.py 的文件。若存在，请改名后再执行导入操作。执行from odps import ODPS时，报错Cannot Import Module odps，如何解决？此报错通常是由于PyODPS遇到了依赖问题。您可以单击 申请链接 添加PyODPS...
负载均衡
如果您的数据库代理版本为2.x.x且为2.5.1之前的版本，主库是否接受读 配置更改后，如果业务侧使用的是长连接，需要重新建立连接才能生效；如果业务侧使用的是短连接，会立即生效。事务拆分 当使用 PolarDB 可读可写模式集群地址时，读写...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
通过函数计算节点实现GitHub实时数据分析与结果发送
开发人员在基于GitHub开源项目进行开发时会产生海量事件，GitHub会记录每次事件的类型、详情、开发者和代码仓库等信息，并开放其中的公开事件。DataWorks提供“Github十大热门编程语言”模板，通过对GitHub中公开数据集进行加工和分析，并...
通过计算巢创建专属ChatBot
基于AnalyticDB PostgreSQL完整数据库能力进行精细化的权限设计：可以基于开源代码调整权限查询，同时支持AnalyticDB PostgreSQL的知识库管理配套相关API，可以更灵活地调用。API与WebUI均可用：可快速实现AIGC后台面向应用的灵活集成。...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
DLF数据探索快速入门-淘宝用户行为分析
DLF产品（数据湖构建）提供数据发现和数据探索的功能，本文介绍如何通过DLF完成对淘宝用户行为样例的分析。操作流程 服务开通：开通阿里云账号及DLF和OSS相关服务。样例数据集下载和导入：下载样例数据（csv文件），并上传至OSS。DLF数据...
Python
本文介绍如何基于Python编程环境连接和操作图数据库GDB。前提条件 进行以下操作时，请确保图数据库GDB的实例与您的ECS虚拟机处于同一个VPC网络环境。在使用Python连接GDB实例之前，需要准备以下环境：Python 2.7+或者3.5+。pip。如果您的...
备份加密
备份加密是利用备份工具（Xtrabackup）的加密能力对专属集群MyBase for MySQL实例的备份进行加密，以此来提高数据的安全性。前提条件 实例类型为如下之一：MyBase MySQL 8.0高可用版（本地SSD盘）MyBase MySQL 5.7高可用版（本地SSD盘）...
添加 SDK
移动分析支持基于 mPaaS 框架接入、基于已有工程且使用 mPaaS 插件接入以及基于已有工程且使用 CocoaPods 接入三种接入方式。您可以参考 接入方式介绍，根据实际业务情况选择合适的接入方式。前置条件 您已接入工程到 mPaaS。更多信息，请...
备份加密
背景信息 加密使用的密钥由密钥管理服务（KMS）产生和管理，RDS不提供加密所需的密钥和证书。您不仅可以使用阿里云自动生成的密钥，也可以使用自定义密钥。如果您需要使用自定义密钥进行备份加密，首先需要创建一个 服务关联角色，RDS服务...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，即可实现MaxCompute SQL对其他脚本语言的支持。功能...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，便可以实现MaxCompute SQL对其他脚本语言的支持。功能...
DeepSpeed分布式训练
若您无需使用示例镜像，您也可以从Git URL下载源代码，并将数据集存放在共享存储系统（基于NAS的PV和PVC）中。本示例假设您已经获得了名称为 training-data 的PVC实例（一个共享存储），用来存放训练结果。如需自定义训练镜像，可参见如下...
使用AIACC-Training PyTorch版
在Torch 1.9版本，默认使用的启动方式为torch.distributed.run，该方式使用默认的rdzv_backend作为训练的launcher，但是在启动训练之前就已经创建了服务，而代码里如果有 dist.init_process_group()则会继续创建该服务，因此导致冲突，单机...
Zeppelin概述
示例 以下内容只适用于EMR-3.33.0及之后版本和EMR-4.6.0及之后版本：如何使用Spark 如何使用Flink 如何使用Presto 如何使用Impala 如何使用Hive 如何使用Spark 在Zeppelin页面，单击 Create new note。在 Create new note 对话框，输入 ...
PySpark任务快速入门
说明 DataFrame.py文件是一段使用Apache Spark框架进行OSS上数据处理的代码。employee.csv文件中定义了一个包含员工姓名、部门和薪水的数据列表。步骤二：上传 测试 文件 上传Python文件到EMR Serverless Spark。进入任务开发页面。登录 E-...
使用自定义函数及Python第三方库
iris.sepallength.map(lambda x:x+1).head(5)sepallength 0 6.1 1 5.9 2 5.7 3 5.6 4 6.0 说明 目前，自定义函数无法支持将List/Dict类型作为输入或输出。如果 map 前后，Sequence的类型发生了变化，则需要显式指定 map 后的类型。iris....
H5 JS 编程
在客户端接入 H5 容器后，前端可以很方便地使用网关：通过动态代理的方式，封装客户端和服务端之间的通讯。如果服务端和客户端定义了一致的接口，可由服务端自动生成代码并导出给客户端使用。对 RpcException 进行统一的异常处理，弹对话框...
基本概念
地理系统 TwinFabric数字孪生系统支持常见的地理信息系统数据源接入，满足实景三维中国建设技术大纲中部分地形级实景三维、城市级实景三维、部件级实景三维数据源的接入，支持基于球面、平面三维场景搭建与地理信息多源数据的融合与开发。...
Python 3 UDTF读取MaxCompute资源示例
本文为您介绍基于MaxCompute客户端通过Python 3 UDTF读取MaxCompute资源的使用示例。前提条件 已安装MaxCompute客户端。更多安装MaxCompute客户端操作，请参见 安装并配置MaxCompute客户端。UDTF的动态参数说明 Python UDTF函数签名格式请...
- 产品推荐
- 这些文档可能帮助您