系统管理
注意事项 建表策略管理：在DataWorks智能数据建模开启建表策略的工作空间（包含建模空间及其纳管的所有研发空间）下，使用数据开发（DataStudio）新建表或修改表时，如不符合所配置的建表策略，则创建的表执行提交、发布操作时会受阻。...
快速入门
import os from odps import ODPS#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 Access Key ID/Access Key Secret 字符...
签名机制
BatchCompute 通过使用 Access Key ID/Access Key Secret 方法来验证某个请求的发送者身份。Access Key ID 用于标示用户，Access Key Secret 是用户用于加密签名字符串和 BatchCompute 用来验证签名字符串的密钥，其中 Access Key Secret ...
签名机制
PolarDB 通过使用Access Key ID和Access Key Secret进行对称加密的方法来验证请求的发送者身份。Access Key ID和Access Key Secret由阿里云官方颁发给访问者（可以通过阿里云官方网站申请和管理）。其中，Access Key ID用于标识访问者的...
签名机制
PolarDB 通过使用Access Key ID和Access Key Secret进行对称加密的方法来验证请求的发送者身份。Access Key ID和Access Key Secret由阿里云官方颁发给访问者（可以通过阿里云官方网站申请和管理）。其中，Access Key ID用于标识访问者的...
签名机制
HybridDB for MySQL通过使用Access Key ID和Access Key Secret进行对称加密的方法来验证请求的发送者身份。Access Key ID和Access Key Secret由阿里云官方颁发给访问者（可以通过阿里云官方网站申请和管理），其中Access Key ID用于标识...
签名机制
服务通过使用 Access Key ID 和 Access Key Secret 进行对称加密的方法来验证请求的发送者身份。Access Key ID和Access Key Secret由阿里云官方颁发给访问者（可以通过阿里云官方网站申请和管理），其中Access Key ID用于标识访问者的身份...
HTTPS原生调用
使用上一步（步骤1）构造的规范化字符串按照下面的规则构造用于计算签名的字符串：StringToSign=HTTPMethod+"&"+percentEncode（"/"）+"&"+percentEncode（CanonicalizedQueryString）其中HTTPMethod是提交请求用的HTTP方法，比如POST。...
签名机制
通过使用 Access Key ID 和 Access Key Secret 进行对称加密的方法来验证请求的发送者身份。Access Key ID 和 Access Key Secret 由阿里云官方颁发给访问者（可以通过阿里云官方网站申请和管理），其中 Access Key ID 用于标识访问者的身份...
pg_repack
PolarDB PostgreSQL版（兼容Oracle）支持通过pg_repack插件对表空间进行重新“包装”，回收碎片空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pg_repack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。注意事项 pg_repack...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
使用GetLogs接口查询日志
access_key_id=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID','')access_key=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET','')#Project和Logstore名称。project='your-project-name' logstore='your-logstore-name'#创建日志服务...
从MaxCompute外表导入（20.3及以上）
说明 如果您使用的表引擎为MaxComputeRaw，请更改建表语法中的 tunnel-endpoint 为 odps-endpoint，即VPC网络Endpoint。如何查看VPC网络Endpoint，请参见 Endpoint。参数说明如下。参数名 描述 table_name 表名。col_name1,col_name2 列名...
Streaming Tunnel SDK示例（Python）
import os from odps import ODPS from odps.tunnel import TableTunnel#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 ...
集成SQLAlchemy
import os from sqlalchemy import create_engine#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 Access Key ID/Access ...
读写MaxCompute数据
如果MaxCompute中的表是分区表，则在DLA建表语句中，分区列会作为普通列进行定义，且分区列的定义排序在所有列之后。通过 MSCK REPAIR 同步MaxCompute Project中的所有表。msck repair database通过 CREATE TABLE 同步指定单表信息。同步单...
Tunnel SDK示例（Python）
import os from odps import ODPS from odps.tunnel import TableTunnel#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 ...
LOCK
在为引用表的命令自动获取锁时，PolarDB总是尽可能使用最不严格的锁模式。提供 LOCK TABLE 是用于想要更严格的锁定的情况。例如，假设一个应用运行一个 READ COMMITTED 隔离级别的事务，并且需要确保一个表中的数据在该事务的期间保持稳定...
导出至自建MySQL
本文示例中，测试所用的ECS自建MySQL目标库名为 test_adb，并在该库中创建了一张名为 courses 的目标表，用于存储从 AnalyticDB MySQL 集群中导出的数据。建表语句如下：CREATE TABLE courses(id bigint NOT NULL,name varchar(32)NOT NULL...
计费方式
云·原生建站镜像的计费方式和计费周期和ECS实例一致，并且需要在ECS实例中提前选择镜像才可使用，如下表所示。计费方式 计费规则 相关文档 包年包月 和实例的计费方式一致。费用=镜像单价（199元/月）*购买时长（月）。包年包月 说明：...
数据湖管理FAQ
在SLS投递数据所在的OSS region上，使用“OSS元数据发现”来替代“SLS元数据发现”任务，进而实现自动建表时查询SLS所投递的数据。OSS存储CSV格式文件时，为什么OSS元数据发现不出任何表？这种情况一般原因有：某个字段值超过了4096字节...
从OSS导入数据
您可以通过表引擎或表函数将数据从OSS中导入至 云数据库ClickHouse，实现日志查询分析和加工等操作。本文介绍如何将OSS数据导入至 云数据库ClickHouse。前提条件 已开通OSS服务。如何开通，请参见 开通OSS服务。已创建存储空间（Bucket），...
访问控制概述
借助 RAM 服务角色实现动态访问云服务 如果您购买了 ECS 实例，并且打算在 ECS 中部署企业的应用程序，而这些应用程序需要使用 Access Key 访问其他云服务 API，那么有两种做法：将 Access Key 直接嵌入代码。将 Access Key 保存在应用程序...
一键建仓
AnalyticDB PostgreSQL版 的一键建仓功能支持将RDS PostgreSQL实例中的数据同步到 AnalyticDB PostgreSQL版 中。您只需要在RDS PostgreSQL侧创建发布（PUBLICATION），在 AnalyticDB PostgreSQL版 侧创建一键建仓任务订阅并发布，即可实现...
访问OSS数据
21.8及以下版本的建表语法：CREATE TABLE[on cluster default]('col_name1' col_type1,'col_name2' col_type2,.)ENGINE=OSS('<oss-endpoint>','<access-key-id>','<access-key-secret>','<oss-file-path>','<file-format-name>');...
离线Spark消费示例
export ALIBABA_CLOUD_ACCESS_KEY_ID=<access_key_id>export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<access_key_secret>Windows系统 配置方法 新建环境变量文件，添加环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET...
从MaxCompute外表导入（19.15.2.2）
建表时，ClickHouse的列类型，应该与MaxCompute列类型具有对应关系，请参见 类型映射。ENGINE=MaxCompute 表示该表是外部表，使用的存储引擎是MaxCompute。tunnel-endpoint MaxCompute的EndPoint（域名节点）。说明 为了确保ClickHouse后端...
sample-txc-dubbo 样例（公网）
建表语句位于 txc-yun-sample/sql 的 sample-txc-dubbo.sql 文件中。下载样例 txc-yun-sample 并上传到 ECS 上。在 IDE 中修改样例配置。将 resource 目录下每个 xml 文件中 constructor-arg value 的值替换为申请好的 GTS 事务分组 ID。将...
sample-txc-dubbo 样例
建表语句位于 txc-yun-sample/sql 的 sample-txc-dubbo.sql 文件中。下载样例 txc-yun-sample 并上传到 ECS 上。在 IDE 中修改样例配置。将 resource 目录下每个 xml 文件中 constructor-arg value 的值替换为申请好的 GTS 事务分组 ID。将...
日志服务数据同步至Hologres
索引介绍请参见 建表概述。本次示例建表DDL如下。CREATE TABLE sls_flink_holo(content JSONB,operation TEXT,uid TEXT,topic TEXT,source TEXT,c_timestamp TIMESTAMPTZ,receive_time BIGINT PRIMARY KEY(uid));通过Flink写入数据。在...
访问MaxCompute数据源
Spark SQL也支持使用两层Catalog形式命名<maxcompute_project_name>.，需要在执行建表语句前，先执行 USE;您还可以继续执行 USE;建表时只写表名。输入以下语句，单击 执行SQL（F8），并在弹窗中，单击 继续执行。向表中写入数据。INSERT ...
初始化
TimestreamDBClient是Timestream的客户端，您可以使用TimestreamDBClient进行建表、删表以及读写数据/时间线等操作。上图为TimeStream模型的结构示意图，其中时序数据是存储到数据表中，时间线是存储到元数据表（Meta表）中。数据表可以...
合并小文件
CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 Access Key ID/Access Key Secret 字符串 o=ODPS(os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),project='...
签名机制
发送 OpenAPI 请求时，请按照下面的方法对请求进行签名处理：关于 Access Key ID 与 Access Key Secret TSDB 服务会对每个 API 的调用请求进行身份验证，所以无论使用 HTTP 还是 HTTPS 协议提交请求，都需要在请求中包含由 Access Key ID ...
OSS与ClickHouse间的数据导入与导出
OSS兼容S3协议，您能够在EMR ClickHouse集群上通过S3表引擎或S3表函数读写OSS中的数据。本文为您介绍如何将OSS中的数据导入至ClickHouse集群及如何将ClickHouse集群上的数据导出至OSS。前提条件 已在OSS上创建存储空间，详情请参见 控制台...
概述
export ALIBABA_CLOUD_ACCESS_KEY_ID=YOUR_ACCESS_KEY_ID&export ALIBABA_CLOUD_ACCESS_KEY_SECRET=YOUR_ACCESS_KEY_SECRET 接入步骤 创建热词词表 用户从客户端提交创建热词词表的请求。正常情况下，服务端返回创建完成的热词词表PhraseId...
通过网页端导入三方代码库
在配置完三方平台鉴权信息后可以进行批量导入，以下用自建 GitLab 为例说明。根据步骤二完成鉴权设置后，进入自建 GitLab 待导入代码库列表页面。注意当前列表仅展示已绑定账号作为成员的代码库，如需作为 GitLab 平台管理员整站迁移所有...
Schema
示例如下：#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret，#不建议直接使用 Access Key ID/Access Key Secret 字符串 o=ODPS(os.getenv('...
- 产品推荐
- 这些文档可能帮助您