Logstash消费
日志服务 支持通过Logstash消费数据，您可以通过配置 日志服务 的Input插件对接Logstash获取 日志服务 中的数据并写入到其他系统中，例如Kafka、HDFS等。功能特性 分布式协同消费：可配置多台服务器同时消费某一个Logstore。高性能：基于...
TableTunnel
session.commit()将相应数据目录下的所有文件移到相应表所在目录，并更新表Meta，即数据进表。使数据对其它MaxCompute任务（例如SQL、MapReduce）可见。TableTunnel接口限制 Block ID的取值范围是[0,20000)，单个Block上传的数据限制为100...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
简介
对象由元数据（Object Meta）、用户数据（Data）和文件名（Key）组成。对象由存储空间内部唯一的Key来标识。地域 Region 地域表示OSS的数据中心所在物理位置。您可以根据费用、请求来源等综合选择数据存储的地域。详情请查看 OSS已经开通的...
EMR元数据迁移公告
阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...
常见问题
具体操作如下：输入 F12，在 network 搜索 meta,右键并单击 Open in new tab。在弹出的页面中，提示 您的连接不是私密连接,单击 高级，再单击 继续前往，刷新页面即可。如果在 高级 选项中没有 继续前往。则在页面的空白区域单击并输入 ...
建立元数据索引
创建数据集后，您可以为存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件建立元数据索引。通过建立元数据索引，您可以更有效地管理和检索大量的媒体文件。本文将介绍如何建立和管理元数据索引，以便于快速搜索、筛选和管理您的...
SearchDoc-搜索文档
搜索文档 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 AgentKey string ...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
控制台发布记录
2024-3-7 开启冷数据归档 数据与缓存一站式 PolarDB MySQL版 支持数据与缓存一站式功能，在保证数据强一致性的同时，面向在线业务场景构建一套完整的数据库+缓存的解决方案。2024-3-12 灰度发布中 PolarDB MySQL推出数据与缓存一站式功能 ...
多元索引最佳实践
大批量导入数据前准备 首次创建Tablestore的数据表后，在导入数据前，如果数据较多，例如超过10亿行，请联系表格存储技术支持进行数据表的预分区，使数据导入速度更快。数据量较大的情况下，推荐先将数据导入到数据表再创建多元索引，有利...
常见错误码及排查方法
通过 INSERT INTO SELECT 将源表中的数据写入新建表中，删除报错的表，然后通过 RENAME 将新表更名为报错的表名，重启DTS任务即可。DTS-70004:execute statement failed:/*aaaaaaaaaaMysqlEngine(28)*/update `xxx`.`yyy` set.error detail...
图搜使用问题
商品图片搜索和通用图片搜索有什么区别？商品图片搜索主要针对商品类的图片进行相关的类目划分，针对每个类目进行更精细化的特征提取，使得每个商品类目上的召回更加准确，适用的场景是电商类的应用。通用图片搜索不需要关注具体的类目信息...
错误码
本文介绍图像搜索产品的错误码。说明 如需了解更多产品详情和获取技术支持，请单击 在线咨询 或通过钉钉群（35035130）联系我们。错误代码 HTTP状态码 错误描述 说明 NoPermission 403 You are not authorized to perform this operation....
SearchMetaTables
调用SearchMetaTables根据条件搜索表。仅支持搜索MaxCompute和EMR两种类型的引擎表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 ...
常见报错
可能原因：通讯链路故障，JDBC驱动程序数据包成功发送到源数据库服务器，但未收到来自源数据库的数据包。解决方法：排查数据库的连接数是否过多。参考 communications link failure 处理。请 通过钉钉（钉钉通讯客户端下载地址）进入到DTS...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
配置Amazon S3输入组件
配置Amazon S3输入组件后，可以读取Amazon S3数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Amazon S3数据源。具体操作，请参见 ...
配置Amazon S3输入组件
配置Amazon S3输入组件后，可以读取Amazon S3数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Amazon S3数据源。具体操作，请参见 ...
创建数据源质量规则
Dataphin支持对数据源的连通性和表结构异动进行监测。质量规则定时检测数据源的连通性或数据结构异动，并支持设置异常告警信息，帮助您实时了解数据源连通性和表结构的状况。本文为您介绍如何配置数据源的质量规则。前提条件 已经添加监控...
创建数据源质量规则
Dataphin支持对数据源的连通性和表结构异动进行监测。质量规则定时检测数据源的连通性或数据结构异动，并支持设置异常告警信息，帮助您实时了解数据源连通性和表结构的状况。本文为您介绍如何配置数据源的质量规则。前提条件 已经添加监控...
告警监控规则数据结构
本文介绍告警监控规则的数据结构。Alert 字段 数据类型 是否必填 说明 name String 是 告警监控规则ID。在URL中展示。displayName String 是 告警监控规则名称。在告警列表中展示。state String 否 告警监控规则的状态。取值如下：Enabled...
关联OSS数据源
本文介绍如何创建外部存储，建立日志服务与OSS的关联。前提条件 已采集日志。更多信息，请参见 数据采集。已开启并配置索引。更多信息，请参见 创建索引。...user_meta1 关联OSS数据源的最佳实践请参见 关联Logstore与OSS外表进行查询和分析。
Canal插件
canal[kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 ...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
通过PrestoDB使用Tablestore
PrestoDB是基于MPP架构的开源大数据分布式SQL查询引擎，支持对接MySQL、Elasticsearch、Tablestore等多种数据源。使用PrestoDB对接表格存储Tablestore后，基于PrestoDB on Tablestore您可以使用SQL查询与分析Tablestore中的数据、写入数据...
公告
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
多元索引路由字段的使用
创建多元索引时，您可以选择部分主键列作为路由字段，在进行索引数据写入时，表格存储会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。使用流程 创建索引时，指定一个或多个路由字段。您在...
批量创建质量规则
表级详情配置 您可查看所选数据表校验信息，也可以修改规则名称、质量分权重（仅Dataphin数据表和全域数据表支持），同时，您可以单击 操作 列下的 图标编辑该表的规则配置和校验配置，也可以删除该数据表。单击 添加规则，完成配置。批量...
批量创建质量规则
表级详情配置 您可查看所选数据表校验信息，也可以修改规则名称、质量分权重（仅Dataphin数据表和全域数据表支持），同时，您可以单击 操作 列下的 图标编辑该表的规则配置和校验配置，也可以删除该数据表。单击 添加规则，完成配置。批量...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
批量操作
本文为您介绍IncreaseInstance接口的语法及示例，用于根据名称新建图像搜索实例批量任务。使用说明 本接口用于向图像搜索实例中提交批量任务。说明 如需了解更多产品详情和获取技术支持，请单击 在线咨询 或通过钉钉群（35035130）联系我们...
V3.3.41版本说明
V3.3.41中，自动化营销支持通过 阿里云Quick Tracking 数据采集获取实时行为事件，智能实验室的品牌高潜预测、商品匹配推荐分别成为独立模块并更名为复购预测、货品推荐，此外，还对功能、交互进行了多项优化升级。发布时间 2021年12月16日...
产品系列及支持的功能
✔️ SQL请求行为识别 ❌ ❌ ✔️ 搜索（审计）❌ ❌ ✔️ SQL洞察 ❌ ❌ ✔️ SQL Review ❌ ❌ ✔️ 安全审计 ❌ ❌ ✔️ 相关文档 各个数据库引擎的功能支持情况请参见 支持的数据库引擎与功能。开通DAS经济版、DAS企业版请参见 开通...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
更新说明
组件可以配置动画效果 虚拟键盘 针对HMI屏等移动设备的虚拟键盘输入功能 直接配置数据源功能下线 为拖入画布的组件绑定配置数据源时，需从自变量中选择 变量接入Nats、kafka数据源 变量支持来自Nats、kafka的数据 虚拟变量 复合变量改名为...
PolarDB PostgreSQL版架构介绍
还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-Paxos三节点部署以及本地盘部署。本文通过以下几个方面介绍 PolarDB PostgreSQL版 的...
- 产品推荐
- 这些文档可能帮助您