数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
功能发布记录
Go SDK统计聚合 2023年06月 功能名称 功能描述 发布时间 发布地域 相关文档 SQL查询支持多元索引嵌套类型和数组类型 使用SQL查询支持查询多元索引嵌套类型和多元索引数组类型的数据。2023-06-14 华东1（杭州）、华东2（上海）、华北2（北京...
功能特性
DDL操作 DQL 表格存储支持的DQL操作，包括查询数据、聚合数据、全文检索、多元索引数组和嵌套类型查询、多元索引虚拟列、Join等操作。DQL操作 Database Administration 表格存储支持的Database Administration操作，包括查询索引描述信息和...
函数列表
变量代表解析脚本处理后的JSON数据中key对应的value值。如果取不到value值，则消息不携带tag。数据转发到AMQP服务端订阅消费组 writeDatahub(destinationId,data)流转数据到DataHub。data：写入DataHub的数据。仅支持Map和Binary类型数据。...
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
功能发布记录（2022年）
2022.11.15 全部地域 所有DataWorks用户 SQL查询 DataWorks数据服务支持解析高级SQL中的请求参数和返回参数 在数据服务中，新增如下功能：支持通过高级脚本模式创建API时，在右侧导航栏的 请求参数 和 返回参数 的面板中进行一键参数解析。...
多元索引数组类型
数据类型映射 数据表中数据类型 多元索引中数据类型 SQL数据类型 字符串 数组元素的实际类型，同时开启该列的数组属性（即在控制台打开对应列的数组选项或使用SDK将对应列的IsArray设置为true）VARCHAR（主键）MEDIUMTEXT（预定义列）创建...
管理API
DMS数据服务提供了功能强大、开发便捷的API模块，本文介绍新增API、发布API、测试API的操作步骤。前提条件 已开通 API网关。步骤一：新增API 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据服务。说明 若您...
Android SDK开发指南
当缓存过期时先直接返回null给用户，然后再进行异步更新缓存解析结果*@param host 查询的host 例如（www.taobao.com)*@param isAllowExp 是否允许返回已过期域名的解析数据*@return 获取缓存中对应host解析后的IP数组*/public String[]...
列存在性查询
city列在多元索引中的数据类型为keyword（或其他基础类型）数组，如果数据表中某行数据的city列为空数组，即"city"="[]"，则多元索引认为该行数据的city列不存在。前提条件 已初始化OTSClient。具体操作，请参见 初始化。已创建数据表并...
列存在性查询
city列在多元索引中的数据类型为keyword（或其他基础类型）数组，如果数据表中某行数据的city列为空数组，即"city"="[]"，则多元索引认为该行数据的city列不存在。前提条件 已初始化Client。具体操作，请参见 初始化。已创建数据表并写入...
FieldSchema
在数据表中写入数据时，必须按照JSON数组格式写入，例如["a","b","c"]。当字段类型为嵌套类型时，无需设置此参数。analyzer_parameter bytes 否 分词的可选参数配置，由protobuf编码。使用不同分词类型时支持的可选参数配置不同。更多信息...
列存在性查询
city列在多元索引中的数据类型为keyword（或其他基础类型）数组，如果数据表中某行数据的city列为空数组，即"city"="[]"，则多元索引认为该行数据的city列不存在。前提条件 已初始化Client。具体操作，请参见 初始化。已创建数据表并写入...
数据解析工作台说明
背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例 ID 或备注名称。在左侧导航栏，选择 数据...
列存在性查询
city列在多元索引中的数据类型为keyword（或其他基础类型）数组，如果数据表中某行数据的city列为空数组，即"city"="[]"，则多元索引认为该行数据的city列不存在。前提条件 已初始化OTSClient。具体操作，请参见 初始化。已创建数据表并...
表格
行选择数据集需为List类型，其中Structure为表格单行数据中 key 对应的数据类型。支持 行选择器属性 设置，您可以通过JS方法进行行数据 disable 规则设置。操作列 对表格中每行数据能够进行的操作，每项操作都支持配置对应的动作。使用示例...
配置Kafka输入
数组所在位置路径 当输出模式设置为多行输出时，指定JSON数组在kafka记录value中的路径，路径支持以 a.a1 的格式引用特定JSON对象中的字段或者以 a[0].a1 的格式引用特定JSON数组中的字段，如果该配置项为空，则将整个kafka记录value作为...
读API
返回值映射 通过设置“数组提取”来指定需要提取的数组在JSON对象中的路径，并通过表格指定对应的列名。说明 从返回值中提取的数据必须是数组类型。以下是返回值和映射关系配置的示例：{"code":"SUCCESS","data":{"pageSize":20,"pageNum":...
使用Go语言驱动
nil { panic(err)}/创建存放数据的数组和指针。values:=make([]interface{},len(columns))pointers:=make([]interface{},len(columns))for i:=range values { pointers[i]=values[i]}/扫描数据行。err=rows.Scan(pointers.)if err!nil { ...
配置解析器
云产品流转功能通过配置数据流转解析器关联数据源（设备Topic消息）和数据目的（其他Topic、业务服务器或其他阿里云产品），使用解析脚本实现设备消息转发。本文介绍设置数据流转解析器的完整操作步骤，依次是创建解析器、关联数据源和数据...
数组和嵌套类型
数组类型仅是多元索引中的概念，数据表中还未支持数组。对于多元索引中数组类型的字段，在数据表中必须为String类型，且对应的多元索引中的类型必须为相应的类型，例如Long、Double等。如果字段price是Double Array数组类型，则在数据表中...
规格明细
10 100 数据集过滤条件数量/100 数据集数（单个工作空间）/1000 数据准备 规格分类 规格描述 建议值 限制值 数据准备 数据准备数（单个工作空间）/100 数据准备预览数据行数/1000 数据准备变量数/5 数据准备组件数/20 数据准备组件数据字段...
离线同步常见问题
报错现象：如果数据中包括表情符，在同步过程中可能会报错脏数据：[13350975-0-0-writer]ERROR StdoutPluginCollector-脏数据 {"exception":"Incorrect string value:'\\xF0\\x9F\\x98\\x82\\xE8\\xA2.' for column 'introduction' at row ...
表格存储是否支持存储JSON数据？
当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据，然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息，请参见 数组和嵌套类型。
创建投递任务
您可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中的数据列先后顺序分布。注意 投递数据的字段类型必须与数据源的字段类型匹配，否则会作为脏数据丢弃。字段类型映射详情请参见 数据格式映射。TaskType 投递...
什么是表格存储
同步表格存储数据表中数据 使用 通道服务、DataWorks或者DataX将 表格存储 数据表中数据同步到另一个数据表中。同步表格存储时序表中数据 使用DataWorks工具将 表格存储 时序表中的全量数据或者增量数据同步到另一个时序表。数据导出 同步...
导出、分享和下载电子表格
在DataWorks的数据表格中编辑或导入数据后，您可以将数据导出、下载或分享给指定用户。本文将为您介绍如何将已完成分析的电子表格导出、下载或分享给指定用户。前提条件 阿里云主账号可以在 数据查询与分析管控 页面开启 允许分享 和 允许...
SQL查询介绍
SQL查询为表格存储的多数据引擎提供统一的访问接口，兼容MySQL的查询语法，适用于在海量数据中进行在线数据访问类型的场景。您可以通过SQL查询功能对表格存储中的数据进行复杂的查询和高效的分析。背景信息 为了满足用户业务平滑迁移到表格...
使用SDK
您可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中的数据列先后顺序分布。重要 投递数据的字段类型必须与数据源的字段类型匹配，否则会作为脏数据丢弃。字段类型映射详情请参见 数据格式映射。taskType 投递...
物联网平台数据接入
通过使用规则引擎数据流转功能，将物联网平台中的设备数据转发到表格存储（Tablestore）中存储。前提条件 已创建物联网平台企业版实例并将设备接⼊到企业版实例。具体操作，请参见 购买企业版实例 和 设备接入和上报数据。已开通表格存储...
iOS SDK开发指南
获取域名解析后的IPv4信息数组/如果开启了缓存开关，那么优先获取缓存中的数据返回，如果没有缓存或者缓存过期，那么会通过网络请求获取对应的IP返回；如果没有开启缓存开关，那么直接通过网络请求获取对应的IP返回。param domain 域名/...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
2023年12月26日V5.17产品更新公告
通义版（体验版）、通义版（标准版）、通义版（企业版）、通义版（旗舰版）数据问答：上传表格模板优化 优化 优化上传表格模板说明页，提供具体实体类型示例值，补充说明数组型和范围型数据不可直接为空等信息。通义版（体验版）、通义版...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
Quick BI v5.0.3版本说明
发布日期 2024年3月14日 重点升级概览 电子表格&填报能力升级 单元格内支持使用快捷键方式粘贴图片。电子表格中进行分组后，支持在预览态中查看分组功能。数据填报&表格填报上传图片后，支持在数据集中进行图片类型切换并最终在报表中查看...
OSS数据离线同步至MaxCompute
CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号）：其文件以纯文本形式存储表格数据（数字和文本）。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的...
查询时序数据
表格存储提供了GetTimeseriesData接口用于查询某一时间线在指定时间段时序数据。查询时序数据时，如果不确定要查询时间线信息（例如度量名称、数据源信息），您可以先根据指定条件检索到时间线后再进行查询。功能概述 调用 ...
快速玩转Tablestore入门与实战
通道服务：表格存储全增量一体消费通道 Tablestore表设计最佳实践 Tablestore+DeltaLake（快速开始）架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大...
- 产品推荐
- 这些文档可能帮助您