GetTableDDL-查询建表语句
查询建表语句。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc.cn-hangzhou.aliyuncs.com 。调试 您可以在...
PyODPS使用第三方包
使用PyODPS执行方法：import os from odps import ODPS#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 Access Key ID/...
Web应用登录阿里云
请求参数 参数名称 是否必选 描述 refresh_token 是 用授权码换取访问令牌时获得的刷新令牌。client_id 是 应用ID。grant_type 是 根据OAuth 2.0协议，取值为 refresh_token。client_secret 否 应用密钥，用作换取访问令牌时鉴定应用身份的...
创建DataFrame
确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 Access Key ID/Access Key Secret 字符串 conn_string='odps:/s:%s@...
迁移方案概览
建议使用高速通道（Express Connect）或智能接入网关SAG（Smart Access Gateway）将本地数据中心和云上专有网络打通，然后通过 专线/VPN网关/智能网关 的接入方式将自建数据库接入DTS。更多信息，请参见 连接本地IDC。云企业网CEN 源为自建...
通过OpenTelemetry接入Python Trace数据
endpoint='${endpoint}',project="${project}",instance="${instance}",access_key_id="${access-key-id}",access_key_secret="${access-key-secret}")表 1.变量说明 变量 说明 示例${service.namespace} 服务归属的命名空间。order${...
同步方案概览
建议使用高速通道（Express Connect）或智能接入网关SAG（Smart Access Gateway）将本地数据中心和云上专有网络打通，然后通过 专线/VPN网关/智能网关 的接入方式将自建数据库接入DTS。更多信息，请参见 连接本地IDC。云企业网CEN 源为自建...
支持的数据库
自建Kafka 0.10.1.0~2.7.0版本 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至阿里云消息队列Kafka版 从自建MySQL同步至阿里云消息队列Kafka版 从ECS上的自建MySQL同步至自建Kafka集群 从通过专线、VPN网关或智能接入...
基于MaxFrame实现分布式Pandas处理
Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 Access Key ID/Access Key Secret 字符串 os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),os.getenv('ALIBABA_CLOUD_ACCESS_KEY_...
管理DLF Catalog
配置DLF Catalog后，您可以在Flink全托管控制台直接访问DLF实例中的表，无需再手动注册DLF表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何在Flink全托管模式下创建、查看、使用及删除DLF Catalog。背景信息 阿里云数据湖构建...
合并小文件
Access Key Secret，#不建议直接使用 Access Key ID/Access Key Secret 字符串 o=ODPS(os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),project='your-default-project',endpoint='your-end-point...
外部表自动加载（Auto Load）
本文为您介绍如何使用Auto Load外部表自动加载的功能，实现MaxCompute和OSS数据的按需自动加载以及全量自动加载。应用场景 Hologres与 云原生大数据计算服务MaxCompute、阿里云数据湖构建（Data Lake Formation，DLF）和 阿里云对象存储...
通用接口
说明 通用接口 云梦API开放平台是基于云梦建站技术实践经验，面向云梦建站用户及合作伙伴，提供高易用的API服务。目前适用于“云·速成美站”、“云·企业官网”内的文章、产品的增、删、改、查操作，旨在帮助用户加速创建网站的文章、产品...
签名机制
SGW通过使用Access Key ID和Access Key Secret进行对称加密的方法来验证请求的发送者身份。Access Key ID和Access Key Secret由阿里云官方颁发给访问者（可以通过阿里云官方网站申请和管理）。其中，Access Key ID用于标识访问者的身份，...
通用接口
说明 通用接口 云梦API开放平台是基于云梦建站技术实践经验，面向云梦建站用户及合作伙伴，提供高易用的API服务。目前适用于“云·速成美站”、“云·企业官网”内的文章、产品的增、删、改、查操作，旨在帮助用户加速创建网站的文章、产品...
ALTER ROLE
name 使用以下命令可撤销特权：ALTER ROLE role_name WITH[NOPOLICYEXEMPT|NO EXEMPT ACCESS POLICY]说明 POLICYEXEMPT 和 NOPOLICYEXEMPT 关键字将被视为弃用的语法；建议您使用 EXEMPT ACCESS POLICY 和 NO EXEMPT ACCESS POLICY 语法...
通过OSS将自建Elasticsearch数据迁移至阿里云
当您需要将自建Elasticsearch数据迁移至阿里云Elasticsearch时，可以使用OSS快照的方式进行迁移。即使用Elasticsearch的snapshot API，创建自建Elasticsearch数据的快照并存储到OSS中，然后从OSS将快照数据恢复到阿里云Elasticsearch中。...
模拟IDC Spark读写MaxCompute实践
创建Table 本实践需准备分区表和非分区表供测试使用，创建表详情请参见 创建表。读写MaxCompute数据 代码开发。本实践提供如下读非分区表代码开发示例。说明 读分区表、写非分区表和写分区表代码示例请参见 PartitionDataReaderTest.scala...
创建混合分区
ALTER SERVER server_name OPTIONS(EXTRA_SERVER_INFO '{"oss_endpoint":"<my_oss_endpoint>","oss_bucket":"<my_oss_bucket>","oss_access_key_id":"<my_oss_access_key_id>","oss_access_key_secret":"<my_oss_access_key_secret>","oss_...
MaxCompute数据迁移
目前由于安全合规问题，不允许使用copytask开通数据跨境复制。如果同一个国家内的项目开通copytask复杂任务，则默认有效期为一个月，到期后会自动关闭。要求源项目开启copytask开关，您可以通过 申请链接 申请开启源项目的copytask开关。...
ALTER QUEUE
启用或禁用排队和/或取消排队 使用 ALTER QUEUE 命令的第三种形式可在特定队列上启用或禁用排队和/或取消排队：ALTER QUEUE queue_name ACCESS { START|STOP }[FOR { enqueue|dequeue }][NOWAIT]表 3.参数信息 参数 说明 queue_name 现有...
基于OSS外表的单表多文件查询
文件命名规则如下：使用OSS外表的建表语句 CONNECTION 参数中配置的文件名称。如果该参数中没有配置文件名称，则数据文件名称为 当前OSS外表的表名.CSV。示例如下：CONNECTION 参数中已配置文件名称。CREATE TABLE t1(id int)engine=csv ...
在本地环境上使用PyODPS
本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。前提条件 本地已安装python环境，且已安装PyODPS包，参考：安装PyODPS。准备数据集 pyodps_iris。您可参考 使用示例 下载数据集、创建 pyodps_iris 表并写入数据...
显式锁定
防止死锁的最好方法通常是保证所有使用一个数据库的应用都以一致的顺序在多个对象上获得锁。在上面的例子里，如果两个事务以同样的顺序更新那些行，那么就不会发生死锁。我们也应该保证一个事务中在一个对象上获得的第一个锁是该对象需要的...
访问Tablestore数据源
本文介绍如何使用 AnalyticDB MySQL版 湖仓版（3.0）Spark通过访问Tablestore数据。前提条件 与 AnalyticDB MySQL版 湖仓版（3.0）集群与TableStore实例位于同一地域。已在湖仓版（3.0）集群中创建Job型资源组。具体操作，请参见 新建资源...
sample-txc-simple 样例
在 txc-yun-sample/sql/目录下执行 sample-txc-simple.sql，在 RDS 1 中创建 user_money_a 表，在 RDS 2 中创建 user_money_b 表。下载样例 txc-yun-sample 并上传到 ECS 上。修改样例配置。找到并打开 sample-txc-simple/src/main/...
数据复制
本文介绍如何在 开源大数据平台 EMR（E-MapReduce）集群上，使用Spark3将 表格存储 中一张表的数据复制到另一张表中，全程使用SQL语句实现表的创建以及数据的复制操作。前提条件 已创建 EMR 集群。具体操作，请参见 创建EMR集群。重要 创建...
在线多表join快速搭建
本文介绍如何快速搭建支持在线多表join功能的实例。前提条件 成功 注册阿里云账号 并通过 实名认证。第一次开通阿里云账号并登录控制台时，会提示先创建access key才能继续使用。创建及使用应用依赖access key参数，主账号下access key参数...
使用阿里云CSI存储
kubectl-n kube-system create secret generic alibaba-addon-secret-from-literal='access-key-id=<youraccess key id>'-from-literal='access-key-secret=<youraccess key secret>' 说明<youraccess key id>及<youraccess key secret>为...
使用PyODPS读写MaxCompute表
在DSW实例中，您可以通过SQL File方便地查询MaxCompute表数据，以及可视化展示查询结果，也可以使用PyODPS实现对MaxCompute表更多丰富的操作。本文介绍如何使用PyODPS和SQL File读MaxCompute表数据。前提条件 在开始执行操作前，请确认您...
通用行业模板配置
多表数据关联支持 表a->表b，表b->表c 表a->表d 不支持超过2层多表数据关联 表a->表b，表b->表c，表c->表d 不支持环状多表数据关联 表a->表b，表b->表a 数据模型 定义应用结构流程：1、通过模板创建应用结构。用户可以将自己定义的应用结构...
DataHub数据源
本文介绍如何使用DataHub数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName USING datahub OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);Table Schema 创建DataHub表时，无需显式定义表的字段信息，...
批计算
通过在E-MapReduce集群中使用Spark2访问表格存储。对于批计算，Tablestore on Spark提供索引选择、分区裁剪、Projection列和Filter下推、动态指定分区大小等功能，利用表格存储的全局二级索引或者多元索引可以加速查询。前提条件 已创建E-...
初始化OTSClient
如果要使用宽表模型的操作数据表、读写单行数据、读写多行数据等功能，您需要初始化一个TableStoreClient实例；如果要使用时序模型的操作时序表、检索时间线、读写时序数据等功能，您需要初始化一个TimeseriesClient实例。准备工作 初始化...
AnalyticDB MySQL 2.0数据导入
CREATE EXTERNAL CATALOG catalog_name properties('connector.name'='mysql' 'connection-url'='jdbc:mysql:/mapping_ip:mapping_port/database_name' 'connection-user'='$user' 'connection-password'='$password' 'odps-access-id'='$...
sample-txc-springboot 样例
前提条件 在使用样例前，请先完成以下工作：准备两个 RDS 实例，用户创建数据库。准备一个 ECS 实例，用于部署本样例。样例逻辑说明 从 A 账户向 B 账户转账。为了触发应用异常，样例故意先给 B 账户打款，然后从 A 账户扣款后检查 A 账户...
在推荐系统中应用FeatureStore管理特征
具体表现为：在FeatureStore中创建项目，注册特征表，创建模型特征，导出训练样本表，从离线数据源同步特征到在线数据源，利用训练样本表训练模型，部署EAS模型服务，以及如何使用PAI-REC中的FeatureStore中的相关配置等整个推荐系统流程。...
sample-txc-simple-springfree 样例
搭建样例 在两个数据库分别执行 txc_sample1.sql、txc_sample2.sql 和 txc_undo_log.sql，创建 txc_undo_log 表。下载样例 txc-yun-sample 并上传到 ECS 上。在 IDE 中修改样例配置。找到并打开 SpringFreeClient.java 文件，在 ...
跨库查询（Beta）
本文为您介绍如何在Hologres中使用跨库查询数据以及相关的使用示例。背景信息 Hologres从V1.1版本开始，支持在不同地域、不同实例和不同数据库之间，通过创建外部表的方式查询数据，操作方便简单。Hologres兼容Postgres，通过外部表的方式...
绑定源代码托管平台
绑定个人版实例与GitLab代码平台 如果您使用的是自建的GitLab，绑定自建GitLab需要注意以下端口事项：HTTP服务 默认使用80端口。如果要使用其他端口，请在触发器URL末尾手动添加端口号，而且只能选择以下端口号：80、21、443、70、210、280...
- 产品推荐
- 这些文档可能帮助您