JSON
背景信息 JSON 格式能基于JSON结构读写JSON数据。当前，JSON结构是从表结构自动推导而得的。支持JSON格式的连接器有：消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB 和 StarRocks 等。使用示例 利用Kafka以及...
JSON函数
如果这些参数可能返回多个值，则匹配的值将自动包装为一个数组，顺序与生成值的路径相对应，否则返回值为单个匹配值。如果任何参数为NULL或没有路径在文档中找到值，则返回NULL。参数 参数 类型 说明 json_doc String JSON格式的文档。重要...
Logtail配置文件和记录文件
一台服务器上可配置多个用户标识，Logtail容器中仅支持配置一个用户标识。文件路径 主机环境 Linux：/etc/ilogtail/users/。Windows：C:\LogtailData\users\。容器环境 用户标识保存在Logtail容器的环境变量 ALIYUN_LOGTAIL_USER_ID 中，您...
使用DataX同步
conf 存放core.json文件，文件中定义了一些默认参数值，例如channel流控、buffer大小等参数，建议使用默认值。下载编译好的压缩包 DataX压缩包。步骤二：准备全量导出的JSON文件 在DataX中mysqlreader配置有querySQL模式和table模式两种...
如何复制数据表的表结构
desc-t mytable-o/localpath/filename.json 使用导出的JSON文件创建表即可完成复制。手动修改JSON文件中的表名称。根据所用平台执行相应命令通过导出的JSON文件创建表。Windows平台 create-i D:\\localpath\\filename.json Linux和Mac平台 ...
数据操作
创建数据表后，您可以通过命令行工具在数据表中插入新数据、更新一行数据、读取数据、删除一行数据、扫描数据以及导入导出数据。插入新数据 在表中插入新数据。您也可以通过导入JSON格式的配置文件来插入新数据到表中。命令格式 put-pk '...
将HBase数据同步到表格存储
配置样例 使用Hbase1.1 XReader配置一个从HBase抽取数据到本地的作业（normal 模式）：{"job":{"setting":{"speed":{"channel":1 } },"content":[{"reader":{"name":"hbase11xreader","parameter":{"hbaseConfig":{"hbase.zookeeper.quorum...
使用Python SDK的SelectObject查询CSV和JSON文件
本文介绍如何使用Python SDK的SelectObject查询CSV和JSON文件。说明 本文示例由阿里云用户fralychen提供，仅供参考。上传CSV或JSON格式文件 您可以根据业务需求，在OSS管理控制台将CSV或JSON格式文件上传到OSS bucket中。如何将文件上传至...
查询文件
本文主要介绍如何使用Python SDK的SelectObject查询CSV和JSON文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请...
Parquet（推荐）
我们建议将数据写到Parquet以方便长期存储，因为从Parquet文件读取始终比从JSON或者CSV文件效率更高。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，...
22.8版本新特性概览
但是，如果ClickHouse从远程文件系统（例如OSS）读取数据，则系统不会感知到这些读取，且无法使用Page Cache。在22.8版本中，ClickHouse内核层面实现了引擎级别的远程文件系统的缓存，缓存同时使用本地磁盘和RAM，极大地提高了性能。云数据...
JSON和JSONB类型
如果一个值中的JSON对象包含同一个键超过一次，所有的键值对都会被保留（处理函数会把最后的值当作有效值）。JSONB类型数据被存储在一种分解好的二进制格式中，因为需要做附加的转换，在输入时要稍慢一些。由于不需要解析，因此在处理时要...
JSON_ARRAY
将一个可能为空的JSON类型对象，转换为包含这些类型的数组。命令格式 json json_array()参数说明 element：必填。该参数支持的类型包括STRING、BIGINT、BOOLEAN和JSON。返回值说明 返回JSON类型。使用示例-生成json array select json_...
LogStash插件
name=>"topic"#shard_id=>"0"#shard_keys=>["thread_id"]dirty_data_continue=>true dirty_data_file=>"/Users/ph0ly/trash/dirty.data"dirty_data_file_max_size=>1000 } } 配置JSON文件到DataHub：一对一同步（一个JSON文件同步到一个...
JSON&JSONB 数据类型操作
如果输入包含一个从该类型到JSON的造型，会使用该cast函数来执行转换，否则将会产生一个JSON标量值。对于任何非数字、布尔值或空值的标量类型，会使用其文本表示，并且加上适当的引号和转义让它变成一个合法的JSON字符串。to_json('Fred ...
预置小程序包
新建一个独立的 bundle，如 DemoCustomPresetApps.bundle，将从发布平台下载的 AMR 离线包和 h5_json.json 文件添加到此 bundle 中。说明 目前发布平台仅支持下载单个离线包的 h5_json.json 配置文件。当预置多个小程序包时，需要将不同 h5...
预置卡片
此处的 JSON 文件为卡片所需要的数据，可以使用文件内置，也可以通过调用接口动态请求，根据自身需要选择数据来源方式。说明 后期控制台将直接提供完整命名的 zip 包，无需用户手动修改命名，只需要添加到 Bundle 中即可。将 Bundle 引入...
bucket-policy（授权策略）
添加或修改Bucket Policy时，ossutil先从JSON格式的文件中读取Bucket Policy配置，然后将读取到Bucket Policy添加到指定的Bucket。添加Bucket Policy为覆盖语义，即新添加的Bucket Policy会覆写已有的Bucket Policy配置。命令格式./ossutil...
HTTP触发器调用函数
当一个键存在多个值时，值之间会使用逗号分隔，比如 {"header1":"value1","header2":"value1,value2"}。{"header1":"value1","header2":"value1,value2"} queryParameters 请求的查询参数。例如，如果请求URL为 ...
HTTP触发器调用函数
当一个键存在多个值时，值之间会使用逗号分隔，比如 {"header1":"value1","header2":"value1,value2"}。{"header1":"value1","header2":"value1,value2"} queryParameters 请求的查询参数。例如，如果请求URL为 ...
UniApp接入
在 manifest.json 文件，选择 运行>运行到手机或模拟器，单击 运行到Android App基座 或 运行到iOS App基座，勾选 使用自定义基座运行。说明 后续如果调试功能正常，打包正式版本时需要选择 发行>原生App>云打包。调用金融级实人认证服务。...
接入指南
本文主要介绍户型图标注SDK的开发接入、基础配置和使用方式。接入指南 通过以下流程，完成临云镜标注工具SDK的开发接入、基础配置和使用方式 CDN资源：https://g.alicdn.com/sail-lyj/alibaba-lyj-floor-plans-umd/0.0.1/bundle.js 1.引入...
脚本和输出语法
输出文件是使用固定的JSON数组格式，将设备上报数据或脚本解析后的数据，映射到数字孪生节点中。本文介绍如何编写脚本和输出文件。背景信息 孪生体中支持添加数据源类型如下：类型 说明 Topic数据 自定义Topic和物模型属性上报Topic：物...
高级配置：多规格实例选择
上述JSON文件中表示启动1个实例。instances 表示允许的实例规格，支持配置多个。当实例规格竞价失败或库存不足时，按照配置顺序依次尝试使用下一个实例规格创建服务。type：表示配置的实例规格。spot_price_limit 为可选参数：当配置该参数...
快速入门
通过JSON文件指定操作和参数，JSON文件可参照示例sample_template.json。Writer：向Lindorm Ganos写入数据，支持两种写入模式：WRITER：单线程写入。连接Lindorm Ganos，定义Schema，创建时空索引表，读取示例数据并写入。PWRITER：多线程...
创建Redis表并读取数据
本文介绍如何创建Redis的CSV和JSON格式表并读取相关数据。创建CSV格式表 针对Redis中CSV格式的数据，本示例在 DMS for Data Lake Analytics 中创建表dla_person_csv。CREATE EXTERNAL TABLE dla_person_csv(id int,name varchar,age int)...
使用Kafka（离线与实时）
odps-sink-connector.json 文件内容示例如下，关于 odps-sink-connector.json 文件详情介绍，请参见 配置并启动Kafka-connector任务。{"name":"odps-test-text","config":{"connector.class":...
高级配置：抢占型实例选择
打开终端工具，在JSON文件所在目录，使用以下命令修改EAS服务使用抢占式资源实例。eascmdwin64.exe modify<service_name>-s<instances.json>其中：需要替换为EAS服务名称；json>需要替换为新建的JSON文件名称。相关文档 关于...
UDAF和UDTF动态参数说明
返回值中的第一个返回值是解析JSON过程中的出错信息，如果没有出错，则会根据输入的Key依次输出从JSON中解析出来的内容。使用示例如下。根据输入参数的个数定制输出别名个数。SELECT my_json_tuple(json,'a','b')as exceptions,a,b FROM ...
在客户端预置 iOS 小程序
新建一个独立的 bundle，如 DemoCustomPresetApps.bundle，将从发布平台下载的 AMR 离线包和 h5_json.json 文件添加到此 bundle 中。说明 目前发布平台仅支持下载单个离线包的 h5_json.json 配置文件。当预置多个小程序包时，需要将不同 h5...
UpdateFlowJSONAsset-使用JSON更新Flow内容
flow_001 FilePath string 是 按照 facebook flow 规则生成的 JSON 文件。https://aliyun/json.json CustSpaceId string 否 ISV 子客户的 SpaceId/实例 ID。9399393 返回参数 名称 类型 描述 示例值 object Schema of Response。RequestId ...
DataV封装ECharts功能介绍
本文从index.js文件、package.json文件以及实操演示三个方面介绍DataV自定义组件如何封装Echarts。课程说明 index.js与package.json文件的作用 package.json是用来定义接入DataV时组件的配置项，例如开放给您配置的组件样式、组件静态数据...
Kafka Rebalancer工具介绍
本文为您介绍使用Kafka Rebalancer工具的注意事项、常用参数以及使用示例。本文以EMR Kafka 2.4.1版本为例。背景信息 在使用Kafka集群过程中，常常会碰到以下问题：leader分区不均衡：导致各个Broker负载不均衡，读写吞吐下降。Borker分区...
JMES语法
e_set("e",json_select(v("json_data"),"a.b.c.d"))加工结果 e:value json_data:{"a":{"b":{"c":{"d":"value"}}}} 通过切片操作获取值 原始日志 json_data:{"a":["b","c","d","e","f"]} 加工语法#获取字段a中从切片2开始的值。切片0值为b，...
设置环境变量
环境变量作为应用版本配置的一部分，以字符串键值对的方式存储，并且每个应用版本都有其独立的环境变量。本文介绍环境变量的基本信息、控制台部署方式以及示例代码。使用限制 字符集规则 Key的字符集必须以大小写字母开头，只能包含大小写...
云数据库的导入与导出
JSON文件格式要求如下。每行都是一个完整的JSON，并且类型是一个JSON对象，不能是JSON数组或者JSON的基本类型。JSON 数据每个键值对的键名首尾不能是英文句号（.），并且不能包含多个连续的英文句号（.）。键名不能重复。CSV文件格式要求首...
创建虚拟用户
若为空，则表示创建的是一个空的无属性的用户。userId String 否 淘宝账号ID信息。userType String 否 账号类型，淘宝：TAOBAO。origin String 否 调用来源，目前必须填写固定值：TmallGenie。sceneId String 否 使用的场景ID。返回数据 ...
查询和分析JSON日志的常见问题
使用json_extract等函数从JSON日志中提取字段时，您需指定json_path，用于标明需要提取JSON对象中的哪一部分。json_path格式为$.a.b，美元符号（$）代表当前JSON对象的根节点，然后通过半角句号（.）引用到待提取的节点。如果JSON对象的...
通过元数据文件迁移上云
Kafka集群元数据可以被导出成一份JSON文件，然后被导入另一个Kafka集群，实现自建Kafka集群元数据备份。元数据迁移是指将自建Kafka集群的元数据迁移到阿里云 云消息队列 Kafka 版 实例。您可以将自建Kafka集群元数据导出，然后导入 云消息...
高级配置：内存缓存本地目录
按照 步骤一 中的配置要求，在EASCMD客户端所在目录创建一个名为 test.json 的JSON文件。在JSON文件所在的当前目录执行以下命令，以Windows 64版本为例。eascmdwin64.exe create<test.json>服务部署成功后，可以直接从本地目录的内存缓存中...
- 产品推荐
- 这些文档可能帮助您