创建混合分区
表名和分区名与数据库中的名称保持一致。示例：假设表 t1 的 p1 分区为CSV引擎，则该分区的数据文件命名为：t1#P#p1.CSV。注意事项 创建的混合分区表至少需要包含一个在InnoDB引擎上创建的分区。创建包含二级分区的混合分区表时，一级分区...
元数据导出
false表示RDS元数据表名为大写。records 必选 工具的运行结果日志存放路径，日志包含处理的记录和错误信息。objectTypes 必选 导出对象的类型列表，可以包含 database、function、table、partition operations 必选 固定填validate ...
通过DSC实现DMS数据分类分级
DbId:tea.Int64(35119204),IsLogic:tea.Bool(false),SchemaName:tea.String("数据库名"),TableName:tea.String("表名"),ColumnName:tea.String("hide1"),/字段名。NewSensitivityLevel:tea.String("S1"),/字段新的安全级别。}_,_err=client...
基础向量检索
向量检索 数据类型:4,向量维度:8,检索方式:HNSW,计算方法:SquaredEuclidean,构建模式:train:build:seek:recall doc表信息 表名:doc_table_float_smoke,分区:20221111,doc数量:10,向量分隔符:~query表信息 表名:query_table_float_smoke,...
PyODPS使用第三方包
您需要将 packages.tar.gz 替换成目标包所在的路径和文件名：import os from odps import ODPS#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key ...
Commit推送Demo
export ALIBABA_CLOUD_ACCESS_KEY_ID=<access_key_id>export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<access_key_secret>Windows系统 配置方法 新建环境变量文件，添加环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET...
Commit推送Demo
export ALIBABA_CLOUD_ACCESS_KEY_ID=<access_key_id>export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<access_key_secret>Windows系统 配置方法 新建环境变量文件，添加环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET...
在本地环境上使用PyODPS
CLOUD_ACCESS_KEY_SECRET'),project='your-default-project',endpoint='your-end-point',)#以直接指定字段名以及字段类型的方式创建非分区表my_new_table。table=o.create_table('my_new_table','num bigint,id string',if_not_exists=True...
配置AnalyticDB MySQL 2.0数据源
准备工作 在分析型数据库MySQL版中创建数据库、表组和表。详情请参见 快速入门-开通分析型数据库MySQL版服务、创建表组 和 创建表。重要 分析型数据库MySQL版中的表需要创建成实时表（普通表），通过实时导入效率高而且流程简单。操作步骤 ...
Jindo sql命令介绍
jindo sql-d access_log_path=oss:/test-sh/oss-accesslog-d partition.table.enabled=true 代码中的 access_log_path 为OSS访问日志存储路径，partition.table.enabled 指定是否为分区表，true表示为分区表。常见问题 Q：如何修改初始资源...
Jindo sql命令介绍
jindo sql-d access_log_path=oss:/test-sh/oss-accesslog-d partition.table.enabled=true 代码中的 access_log_path 为OSS访问日志存储路径，partition.table.enabled 指定是否为分区表，true表示为分区表。常见问题 Q：如何修改初始资源...
Jindo sql命令介绍
jindo sql-d access_log_path=oss:/test-sh/oss-accesslog-d partition.table.enabled=true 代码中的 access_log_path 为OSS访问日志存储路径，partition.table.enabled 指定是否为分区表，true表示为分区表。常见问题 Q：如何修改初始资源...
端到端图搜解决方案
用户将图片通过base64编码后的图片及其表数据存储在MaxCompute中 API+OpenSearch向量检索版：用户通过OpenSearch向量检索版给出的数据推送接口，将base64编码后的图片及其表数据推送到OpenSearch向量检索版实例中 本文演示的是OSS+...
基于OSS外表的单表多文件查询
如果该参数中没有配置文件名称，则数据文件名称为 当前OSS外表的表名.CSV。示例如下：CONNECTION 参数中已配置文件名称。CREATE TABLE t1(id int)engine=csv CONNECTION="server_name/a/b/c/d/t1;通过示例可以看出：OSS上的数据文件路径为 ...
在推荐系统中应用FeatureStore管理特征
在弹出的 模型特征详情 页面的 基本信息 页签中，可查看 导出表名 为 fs_demo_fs_rank_v1_trainning_set，后续基于该表进行特征生产以及模型训练。安装FeatureStore Python SDK，具体操作详情请参见 方式二：FeatureStore Python SDK操作。...
FeatureStore最佳实践
print('cur_day=',cur_day)access_key_id=o.account.access_id access_key_secret=o.account.secret_access_key fs=FeatureStoreClient(access_key_id=access_key_id,access_key_secret=access_key_secret,region='cn-beijing')cur_project...
用户管理
语法示例 CREATE USER MAPPING FOR"<user_name>"SERVER odps_server OPTIONS(access_id '<Access_id>',access_key '<Access_key>');参数说明 参数 说明 user_name 自定义账户的用户名。Access_id 具有当前数据库登录权限账号的AccessKey ID...
显式锁定
SELECT FOR UPDATE 和 SELECT FOR SHARE 命令在目标表上取得一个这种模式的锁（加上在被引用但没有选择 FOR UPDATE/FOR SHARE 的任何其他表上的 ACCESS SHARE 锁）。ROW EXCLUSIVE(RowExclusiveLock)与 SHARE、SHARE ROW EXCLUSIVE、...
管理DLF Catalog
配置DLF Catalog后，您可以在Flink全托管控制台直接访问DLF实例中的表，无需再手动注册DLF表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何在Flink全托管模式下创建、查看、使用及删除DLF Catalog。背景信息 阿里云数据湖构建...
共享集群（OSS数据湖加速）
创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public Schema，并且检验是否存在该外部表，若存在，则对已有表更新。方式一 CREATE FOREIGN TABLE dlf_oss_test_ext(id text,pt text)SERVER dlf_...
使用GetLogs接口查询日志
access_key_id=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID','')access_key=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET','')#Project和Logstore名称。project='your-project-name' logstore='your-logstore-name'#创建日志服务...
ALTER QUEUE
启用或禁用排队和/或取消排队 使用 ALTER QUEUE 命令的第三种形式可在特定队列上启用或禁用排队和/或取消排队：ALTER QUEUE queue_name ACCESS { START|STOP }[FOR { enqueue|dequeue }][NOWAIT]表 3.参数信息 参数 说明 queue_name 现有...
Iceberg
hive_sync.table 同步到Hive的表名称 String 否 当前Table名 无。dlf.catalog.region DLF服务的地域名 String 否 无 详情请参见 已开通的地域和访问域名。说明 仅当hive_sync.mode设置为 hms 时，dlf.catalog.region 参数设置才生效。请和 ...
数据湖元数据配置
本文为您介绍Iceberg表使用数据湖元数据的必要配置。支持以下配置：Spark配置 Hive配置 Spark配置 文件系统采用阿里云对象存储服务OSS。集群版本不同默认的Catalog名称不同，需要配置的参数也不同，各版本对应配置如下：EMR-3.40及后续版本...
概述
参数名 类型 是否必填 说明 Transcription.PhraseId String 否 热词词表ID。查询热词词表（可选）根据热词词表的PhraseId获取该词表的详细热词以及对应权重信息。更新热词词表（可选）根据热词词表的PhraseId更新对应的词表信息，包括词表...
sample-txc-springboot 样例
在两个数据库分别执行 sample-txc-springboot.sql 和 txc_undo_log.sql，创建 txc_undo_log 表。分别在两个数据库执行 txc_sample_springcloud.sql 中的相关命令，创建 account 表。下载样例 txc-yun-sample 并上传到 ECS 上。修改样例配置...
使用FeatureStore Python SDK搭建推荐系统
一、准备数据 同步数据表 一般对于推荐场景，需要准备以下数据表：user侧的特征表、item侧的特征表、Label表、序列特征表 和 行为表。为方便实践操作，我们在MaxCompute的 pai_online_project 项目中提前准备了模拟生成的用户表、物料表、...
配置HTTP消息头
参数和描述请参见下表。参数 描述 示例 Content-Type 指定客户端程序响应对象的内容类型。image Cache-Control 指定客户端程序请求和响应遵循的缓存机制。no-cache Content-Disposition 指定客户端程序把请求所得的内容存为一个文件时提供...
JDBC
Hologres中开启外部表自动加载后，MaxCompute的Project名称将被自动映射为Hologres中的同名Schema，如您需要直接查询该Schema下的外部表，建议在JDBC URL里添加 currentSchema 参数，以便于映射到对应的MaxCompute Project。连接串示例如下...
sample-txc-simple-springfree 样例
搭建样例 在两个数据库分别执行 txc_sample1.sql、txc_sample2.sql 和 txc_undo_log.sql，创建 txc_undo_log 表。下载样例 txc-yun-sample 并上传到 ECS 上。在 IDE 中修改样例配置。找到并打开 SpringFreeClient.java 文件，在 ...
AnalyticDB MySQL 2.0数据导入
column_name AnalyticDB for MySQL 2.0集群中表的列名。同步整个库的元数据（Meta）。meta-sync database database_name to catalog_name;参数 说明 database_name AnalyticDB for MySQL 2.0集群的数据库名称。catalog_name 数仓版（3.0）...
Tablestore
{"columns":{"user_id":{"type":"string"},"order_id":{"type":"string"},"price":{"type":"double"},"name":{"type":"string"}}}""").load()df.show()重要 catalog为Tablestore中表的schema，当catalog声明的列名在Tablestore表中不...
弹性优化之自定义镜像
表 1.Alicloud Image Builder配置文件的参数解释 参数 示例值 描述 variables{"<variable1>":"<value>"} variables{"access_key":"{{env ALICLOUD_ACCESS_KEY}}"} 定义了Alicloud Image Builder中会用到的变量（variables）。说明 如果将...
弹性优化之自定义镜像
表 1.Alicloud Image Builder配置文件的参数解释 参数 示例值 描述 variables{"<variable1>":"<value>"} variables{"access_key":"{{env ALICLOUD_ACCESS_KEY}}"} 定义了Alicloud Image Builder中会用到的变量（variables）。说明 如果将...
DataHub数据源
Table Schema 创建DataHub表时，无需显式定义表的字段信息，示例如下所示。CREATE TABLE datahub_table_test USING datahub OPTIONS(access.key.id='<youraccess key id>',access.key.secret='<youaccess key secret>',endpoint='...
跨库查询（Beta）
默认表放在public schema，若是有自定义schema，需要在表名前加schema名，为 schema.table。public.lineitem server_name 创建的Server的名称。holo_fdw_server remote_schema_name 要跨库查询的源表所在的Schema名称。public remote_table...
在线多表join快速搭建
本文介绍如何快速搭建支持在线多表join功能的实例。前提条件 成功 注册阿里云账号 并通过 实名认证。第一次开通阿里云账号并登录控制台时，会提示先创建access key才能继续使用。创建及使用应用依赖access key参数，主账号下access key参数...
SDK概览
在桌面右键单击 此电脑，选择 属性>高级系统设置>环境变量>系统变量/用户变量>新建，完成以下配置：变量 示例值 AccessKey ID 变量名：ALIBABA_CLOUD_ACCESS_KEY_ID 变量值：LTAI4GDty8ab9W4Y1D*AccessKey Secret 变量名：ALIBABA_CLOUD_...
create_project
命令格式 aliyunlog log create_project-project_name=<value>-project_des=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-filter=][-format-output=][-decode-output=]命令参数 该命令的必选和特有...
流计算
通道列表中会显示该通道的通道名、通道ID、通道类型等信息。其中通道ID用于后续的流式处理。步骤二：在EMR集群侧创建Spark外表 远程登录 EMR 集群的Master节点。具体操作，请参见 登录集群。执行如下命令启动Spark SQL CLI，用于Spark表...
- 产品推荐
- 这些文档可能帮助您