导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
下载文件
第三种：递归遍历文件列表和目录中的每个文件的 download_url，在前端下载并 zip。这种方式可以下载多个文件和目录，但是占用内存较大，不适合下载较大文件或目录。Web 端下载，推荐使用第一和第二种结合的方式。单个文件用第一种，多个...
下载文件
第三种：递归遍历文件列表和目录中的每个文件的 download_url，在前端下载并 zip。这种方式可以下载多个文件和目录，但是占用内存较大，不适合下载较大文件或目录。Web 端下载，推荐使用第一和第二种结合的方式。单个文件用第一种，多个...
指标含义与异常处理建议
阿里云Elasticsearch为运行中的集群提供了多项基础监控指标（例如集群状态、集群查询QPS、节点CPU使用率、节点磁盘使用率等）和高级监控报警指标（例如Cluster、Index、Note Resource等），用来监测集群的运行状况。您可以根据这些指标，...
Kafka数据源
GSSAPI 配置Kafka数据源时，当 Sasl机制 选择GSSAPI时，需要上传三个认证文件，分别是 JAAS配置文件、Kerberos配置文件 以及 Keytab文件，并在独享资源组进行 DNS/HOST 设置，下面分别介绍三种文件以及独享资源组DNS、HOST的配置方式。...
SearchMedia-搜索媒体信息
本接口用于搜索视频点播生产的视频、音频和图片等媒资信息，调用本接口配合媒资搜索协议可实现在视频点播中进行指定返回字段、精确匹配、模糊匹配、多值查询、范围查询、排序字段等多方式多维度的搜索查询。接口说明 获取命中数据条数限制...
Python SDK示例：Table
t=odps.get_table('table_name')t.schema odps.Schema { c_int_a bigint c_int_b bigint c_double_a double c_double_b double c_string_a string c_string_b string c_bool_a boolean c_bool_b boolean c_datetime_a datetime c_datetime_...
创建报警
当规则被触发时，系统会以您指定的报警方式向报警联系人分组发送报警信息，以提醒您采取必要的问题解决措施。前提条件 创建联系人：仅可将联系人分组设为报警的通知对象。背景信息 默认报警条件：为避免您在短时间内收到大量报警信息，系统...
导入Amazon S3文件
阿里云日志服务SLS支持导入Amazon S3中的日志文件。您可以通过数据导入的方式将Amazon S3的日志文件导入到阿里云的日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5GB以内的S3文件，压缩文件大小按照压缩后的大小计算。...
表
[,type bigint>,,type double>,,type string>]创建表 您可以使用 o.create_table()方法创建表，使用方式有两种：使用表Schema方式、使用字段名和字段类型方式。同时创建表时表字段的数据类型有一定的限制条件，详情如下。使用表Schema创建...
统计聚合
通过统计聚合接口可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、嵌套功能；同时支持多个统计聚合功能组合使用，满足复杂...
数据序列化和持久化
蚂蚁区块链智能合约平台分别提供了基础数据类型的序列化和用户自定义数据类型的持久化方法。基础数据序列化 使用 Schema 持久化数据 基础数据序列化 可序列化的数据可以使用 pack()函数序列化为字节串（即 std:string），并且可以使用 ...
数据序列化和持久化
table Schema 中的 table 对应 C++ 中的 Class，您可在 table 中定义任意数目的不同类型字段，每个字段包含类型、名字、默认值（可选，如果未设置，默认为0/NULL），同时字段还有附加属性，也就是字段后面括号中的内容，例如：accounts:...
实时数仓Hologres
说明 如果下游包含回撤算子（例如使用ROW_NUMBER OVER WINDOW去重），则需要设置upsertSource为true，此时源表会以Upsert方式从Hologres中读取数据。binlogStartupMode Binlog数据消费模式。String 否 earliestOffset 参数取值如下：...
新建表
概述 OceanBase 开发者中心（OceanBase Developer Center，ODC）支持可视化方式创建表。本文介绍如何使用 ODC 创建表。如上图所示，创建表包含以下 7 个步骤：指定基本信息。设置列。设置索引（可选）。设置约束（可选）。设置分区规则（可...
MySQL
例如ID是自增字段，Flink DDL不声明该自增字段，则数据库在一行数据写入过程中会自动填补相关自增字段。结果表的DDL声明的字段必须至少存在一个非主键的字段，否则产生报错。结果表的DDL中NOT ENFORCED表示Flink自身对主键不做强制校验，...
使用SQL导入MaxCompute的数据至Hologres
c_first_sales_date_sk BIGINT,c_salutation STRING,c_first_name STRING,c_last_name STRING,c_preferred_cust_flag STRING,c_birth_day BIGINT,c_birth_month BIGINT,c_birth_year BIGINT,c_birth_country STRING,c_login STRING,c_email...
创建报警
当规则被触发时，系统会以您指定的报警方式向报警联系人分组发送报警信息，以提醒您采取必要的问题解决措施。前提条件 说明 目前公有云已不支持使用旧版报警功能，您可以使用新版告警管理功能创建告警规则。更多信息，请参见以下链接。应用...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
加工规则错误
本文档为您介绍数据加工规则错误的原因以及排查处理方法。读取源Logstore数据成功后，加工引擎开始对源Logstore的日志事件进行加工。该环节产生错误主要是由于在数据加工过程中，全部或者部分日志事件不适配加工规则，从而引发的逻辑错误。...
特征离散
有监督离散是根据熵增益不断遍历寻找切分断点，运行时间可能比较久。切分得到的分区数不受指定的maxBins参数限制。参数配置 您可以使用以下任意一种方式，配置特征离散组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
管理日志监控项
您可以在日志监控中创建监控项及其报警规则，并对该监控项执行修改和删除操作。前提条件 请确保您已在日志服务SLS中创建Project和Logstore。具体操作，请参见 快速入门。请确保您已授权云监控访问日志服务SLS的权限。具体操作，请参见 授权...
管理日志监控项
您可以在日志监控中创建监控项，并对该监控项执行修改和删除操作。重要 云监控已于2022年09月13日停止日志监控、自定义监控和自定义事件监控服务。2022年09月13日前正在使用上述三个服务的用户仍然可以在2024年09月13日前正常使用。其他...
查看原始日志
背景信息 原始日志 页面展示了每一条日志的详细内容，包括时间、内容以及日志中的各个字段。各个日志字段的详细说明请参见 日志字段说明。操作步骤 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含...
尺寸映射器使用说明
尺寸映射器用于调整图元尺寸大小，通过使用范围滑块决定图元尺寸范围，本文以配置 基础平面地图 3.0 组件中 矢量散点层 子组件的散点半径为例，为您介绍如何自定义数据值和尺寸的映射关系。配置说明 配置地图子组件内散点半径，您可以通过...
模型特征配置
在配置特征之前，建议阅读一下这篇文章：《在生产环境的推荐系统中部署Contextual bandit(LinUCB)算法的经验和陷阱》,文章介绍了哑变量陷阱，以及超参数调参经验。在以下所有类型的特征中，expression 是必选项（除lookup feature外），...
颜色映射器使用说明
颜色映射器适用于设置组件内各种颜色和数据数值之间的映射配置样式，内置十余种颜色模板，同时支持自定义颜色和颜色的对应值，以满足用户不同的定制需求。本文以配置 基础平面地图 3.0 组件中 矢量散点层 子组件的散点颜色为例，为您介绍...
颜色映射器使用说明
颜色映射器适用于设置组件内各种颜色和数据数值之间的映射配置样式，内置十余种颜色模板，同时支持自定义颜色和颜色的对应值，以满足用户不同的定制需求。本文以配置 基础平面地图 3.0 组件中 矢量散点层 子组件的散点颜色为例，为您介绍...
集成云监控告警
本文介绍如何将云监控产生的告警接入到ARMS告警管理中。背景信息 ARMS告警管理支持通过WebHook的方式将云监控产生的告警接入告警管理。告警接入告警管理后可以统一进行处理，解决传统告警配置分散在各个系统中，不同系统提供的告警处理能力...
占位符
本文主要为您介绍占位符的使用场景和使用方法。操作步骤 创建入口 入口一：自定义SQL编辑页面 在SQL代码编辑页面，单击 占位符管理。在 占位符管理 面板，系统会自动识别您在SQL中使用的占位符并展示在占位符管理面板中，您可以对占位符的...
HDFS数据源
是 无 column 读取字段列表，type指定源数据的类型，index指定当前列来自于文本第几列（以0开始），value指定当前类型为常量。不从源头文件读取数据，而是根据value值自动生成对应的列。默认情况下，您可以全部按照STRING类型读取数据，...
索引表配置
FLOAT/DOUBLE浮点型单值attribute也支持等值压缩配置 其他压缩方式：当字段类型为定长多值的float类型字段时，除了uniq|equal外，还可以额外选定如下fp16/block_fp/int8#[absMax]三种有损精度的编码压缩方式中的一种，进行编码压缩存储。...
索引表配置
FLOAT/DOUBLE浮点型单值attribute也支持等值压缩配置 其他压缩方式：当字段类型为定长多值的float类型字段时，除了uniq|equal外，还可以额外选定如下fp16/block_fp/int8#[absMax]三种有损精度的编码压缩方式中的一种，进行编码压缩存储。...
OSS数据源
}"否 无 column 读取字段列表，type指定源数据的类型，index指定当前列来自于文本第几列（以0开始），value指定当前类型为常量，不是从源头文件读取数据，而是根据value值自动生成对应的列。默认情况下，您可以全部按照String类型读取数据...
新建事实逻辑表
③ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
新建事实逻辑表
③ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
配置Hologres输出组件
输入字段 展示从源表中读取的字段。输出字段 展示目标表的字段。映射关系 映射关系用于将源表的输入字段和目标表的输出字段映射起来。映射关系包括同名映射和同行映射。适用场景说明如下：同名映射：对字段名称相同的字段进行映射。如下图...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
通用行业模板配置
分词字段类型无法配置为 属性字段，例如 TEXT，SHORT_TEXT等都不支持，只支持数值字段类型及不分词字段类型配置为 属性字段，例如 int，int_array，float，float_array，double，double_array，literal，literal_array 等字段类型。...
- 产品推荐
- 这些文档可能帮助您