JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用...
推送数据
概述 本篇文档将介绍如何向AIRec智能推荐服务推送实时数据，实时数据包括：实例启动后的所有对user、item、behavior表中数据的新增、修改、删除等操作。AIRec智能推荐根据版本的不同，有两个推送实时数据的接口，二者推送数据逻辑相同，...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。在MongoDB上准备测试数据 ...
日志实时入仓快速入门
背景信息 假设消息队列Kafka实例中有一个名称为users的Topic，其中有100条JSON数据，代表通过日志文件采集工具或者应用写入Kafka的日志数据，其数据分布大致如下图所示。此时，如果您希望创建一个数据同步的作业，将该Topic中的日志数据都...
内建函数概述
复杂类型函数 支持处理MAP、ARRAY、STRUCT及JSON类型数据，实现去重元素、聚合元素、元素排序、合并元素等业务处理能力。加密函数 支持处理STRING、BINARY类型的表数据，实现加密、解密等业务处理能力。其他函数 除上述函数之外，提供支持...
安全隧道通信协议
JSON格式内容参见下表《Tunnel Header的JSON数据》。表 1.Tunnel Header的JSON数据 参数 数据类型 说明 frame_type Integer 隧道帧类型。可取值为：1：common_response，响应数据。2：session_create，创建Session。3：session_release，...
私有部署使用说明
例如，您企业内网中有一个数据库，只能在企业内网中访问，公网是无法访问的，那么线上的页面就无法连接到您的数据库，这种情况下私有部署就能很好地解决您的问题。私有部署对服务器的配置要求 系统和硬件要求如下：CentOS 7.0 64位Linux...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。JEOJEON API：单击链接右侧的 图标，即可复制JEOJEON数据的API...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。GeoJSON API：单击链接右侧的 图标，即可复制GeoJSON数据的API...
外部表常见问题
在MaxCompute中使用OSS外部表读取JSON数据的操作，请参见 在MaxCompute中使用OSS外部表读取JSON数据。如何通过OSS外部表将多个小文件输出为一个文件？通过Logview日志，查看SQL的执行计划中最后一个是Reducer还是Joiner。如果是Reducer，则...
支持的文件格式
JSON EsriJsonSerDe DLA支持Esri ArcGIS的地理JSON数据文件的SerDe处理，关于这种地理JSON数据格式说明，可以参考：https://github.com/Esri/spatial-framework-for-hadoop/wiki/JSON-FormatsCREATE EXTERNAL TABLE IF NOT EXISTS ...
创建数据源
本文为您介绍如何创建数据源，您可以添加文件类数据源，也可以针对 DB 类创建数据源。创建文件类数据源 登录资金安全监控控制台，在左侧导航栏单击 数据源。在 数据源 页面上，单击 新建数据源。在 新建数据源 页面上，输入以下配置信息：...
管理Kafka JSON Catalog
本文将从以下方面为您介绍如何管理Kafka JSON Catalog：创建Kafka JSON Catalog 查看Kafka JSON Catalog 使用Kafka JSON Catalog 删除Kafka JSON Catalog 使用限制 Kafka JSON Catalog仅支持消息格式为JSON的Topic，暂不支持其他格式。...
结果字段说明
智能异常分析的结果数据保存在名为internal-ml-log的Logstore中。本文介绍结果数据中的字段详情。通用的tag结构说明 各类任务的结果数据中都包含如下通用字段。说明 您可以通过_tag_:_job_name_和_tag_:_schedule_id_字段，查询对应任务的...
通过DataX导入数据
本文介绍使用DataX Doris Writer同步数据至 云数据库 SelectDB 版。概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的...
SET
关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。odps.ext.oss.orc.native 读表时是否使用Native ORC Reader。True：使用。False：不使用。odps.sql.job.max.time.hours 单作业最大执行时间。...
Flag参数列表
MaxCompute 2.0扩展函数 SQL Session/Project odps.sql.type.json.enable JSON数据类型使用开关。关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。MaxCompute JSON数据类型 SQL Session/...
通过Kafka导入数据
在业务场景中，用户通常会通过Debezium Connector将数据库的变更数据推送至Kafka，或者调用API将JSON格式数据实时写入Kafka。Doris Kafka Connector会自动订阅Kafka中的数据，并将这些数据同步到 云数据库 SelectDB 版 中。使用模式 ...
UpsertCollectionDataAsync-异步上传向量数据
使用本地文件或公网可免密访问的文件链接异步上传向量数据，最大支持200MB。接口说明 此接口为 UpsertCollectionData 对应的异步接口。UpsertCollectionData 接口的请求最大只支持 10MB，此接口最大支持 200MB。说明 相关接口 通过 ...
云函数支持固定出网IP
08 Oct 2022 11:52:20 GMT","Content-Length":"194"},"body":{"access_token":"61_7kK2pb8ijdkz-*","expires_in":7200 },"statusCode":"OK","statusCodeValue":200 } 重要 body的格式需要根据Content-Type判断，如果是application/json，则...
查询文件
1+_2>100 对于JSON文件，如果在SQL中未指定cast函数，则其类型根据JSON数据的实际类型而定，标准JSON内建的数据类型包括null、bool、int64、double、string等类型。常见的SQL用例 常见的SQL用例包括CSV及JSON两种。CSV 应用场景 SQL语句 ...
设备影子概览
JSON数据格式的详细说明，请参见 设备影子JSON详解。每个设备有且只有一个设备影子，设备可以通过MQTT获取和设置设备影子来同步状态，该同步可以是影子同步给设备，也可以是设备同步给影子。与设置设备期望属性值区别 设备影子与设置设备...
服务编排功能介绍
数据服务的服务编排为您提供拖拽式、可视化的工作流编排能力。您可以按照业务逻辑，以串行、并行和分支等结构编排多个API及函数服务为工作流。前提条件 您需要购买DataWorks企业版及以上版本，才可以使用服务编排功能。详情请参见 ...
CREATE INDEX
Lindorm提供了 三种 高效易用的索引：二级索引、搜索索引和列存索引，分别适用于非主键匹配场景、多维查询场景 和列存储数据查询场景。在使用CREATE INDEX语法创建索引时，您可以指定索引类型并添加索引属性。引擎与版本 CREATE INDEX语法...
CoAP连接通信
上报数据请求：POST/topic/${topic} Host:${YourEndpoint} Port:5682 Accept:application/json or application/cbor Content-Format:application/json or application/cbor payload:${your_data} CustomOptions:number:2088,2089 表 5....
QueryPublicModelEngine
调用QueryPublicModelEngine接口，使用FML语句查询数据建模引擎的信息。每次调用该接口均需使用FML语句请求获取查询信息。除了数仓分层、业务过程和数据域查询外，其他引擎信息查询均可使用分页查询方式。您可以在FML语句结尾增加offset ...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
各地域功能说明
华东2（上海）数据转发的目的云产品 数据格式 JSON 二进制 消息服务（MNS）支持 支持 消息队列RocketMQ 支持 支持 函数计算（Function Compute）支持 支持 表格存储（Tablestore）支持 不支持 时序数据库（TSDB）支持 不支持 云数据库RDS版...
快速入门
作为学院派关系型数据库管理系统的鼻祖，它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等，而大部分商业数据库都不支持这些数据类型。除了完美支持事务、子查询、多版本控制（MVCC）...
DataX Writer
配置样例 从MySQL读取数据后导入至StarRocks。{"job":{"setting":{"speed":{"channel":1 },"errorLimit":{"record":0,"percentage":0 } },"content":[{"reader":{"name":"mysqlreader","parameter":{"username":"xxxx","password":"xxxx",...
DataX Writer
配置样例 从MySQL读取数据后导入至StarRocks。{"job":{"setting":{"speed":{"channel":1 },"errorLimit":{"record":0,"percentage":0 } },"content":[{"reader":{"name":"mysqlreader","parameter":{"username":"xxxx","password":"xxxx",...
新建离线自定义源类型
数据源JSON 填写数据源JSON代码及上传读写插件：填写数据源JSON代码，即定义数据源的配置项，代码示例说明如下：[{"columnName":"url","columnType":"NORMAL","text":{"zh_CN": "链接地址","en_US":"address","zh_TW":"繁体"},"placeholder...
新建离线自定义源类型
数据源JSON 填写数据源JSON代码及上传读写插件：填写数据源JSON代码，即定义数据源的配置项，代码示例说明如下：[{"columnName":"url","columnType":"NORMAL","text":{"zh_CN": "链接地址","en_US":"address","zh_TW":"繁体"},"placeholder...
新增Prometheus实例数据源
增加ARMS Prometheus监控聚合实例中的数据源，将数据源添加到Prometheus聚合实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
V5.1.x系列实例版本说明
优化JSON_SET、JSON_OBJECT、JSON_EXTRACT、JSON_UNQUOTE、JSON_REMOVE、JSON_MERGE、JSON_KEYS、JSON_REPLACE、JSON_INSERT函数在复杂SQL中的支持。优化对Navicat的兼容性。修复问题 修复SHOW FULL STATS的元信息类型错误的问题。修复单库...
JSON支持
下表描述了Lindorm CQL在INSERT JSON值（和fromJson（）参数）中接受的编码，以及Lindorm CQL在返回SELECT JSON语句（和fromJson（））数据时使用的格式：数据类型 接受的格式 返回的格式 描述 ascii string string 使用JSON的 \u 字符转义...
保存热点数据
SceneId String 是 tqwiuwetwet*场景Id HotspotListJson String 是[{}]热点数据，json字符串数组 HotspotListJson字段为json字符串数组，具体格式参照前端引擎。返回数据 名称 类型 示例值 描述 RequestId String B28A2ECB-AB29-1E01*请求...
QueryDefaultTemplate
调用QueryDefaultTemplate接口查询数据保护伞定义的默认分类分级模板。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值...
快速预览
说明 在 维表 页签中配设置的测试数据，如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式，如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式，也可以为JSON格式。样例：包含2条测试数据...
- 产品推荐
- 这些文档可能帮助您