Amazon S3数据源
支持的字段类型 类型分类 数据集成column配置类型 S3数据类型 整数类 LONG LONG 浮点类 DOUBLE DOUBLE 字符串类 STRING STRING 日期时间类 DATE DATE 布尔型 BOOL BOOL 数据同步任务开发 Amazon S3数据同步任务的配置入口和通用配置流程...
HttpFile数据源
DATE 日期时间类型，支持以下日期时间格式：yyyy-MM-dd HH:mm:ss yyyy-MM-dd HH:mm:ss 数据同步任务开发：HttpFile同步流程引导 HttpFile数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
导出全量数据到OSS
如果需要导出全表数据，则配置示例如下：主键区间分布（起始）的配置示例[{"type":"INF_MIN"},{"type":"INF_MIN"}]主键区间分布（结束）的配置示例[{"type":"INF_MAX"},{"type":"INF_MAX"}]如果需要导出 pk1="tablestore"的行，则配置示例...
基础概念
编码方式 编码方式有以下两种：编码方式 编码详情 软编 使用CPU进行编码。软编可以配置的参数更丰富，同等码率下生成的视频更清晰；但是编码速度比较慢，CPU负载高，手机更容易发热。硬编 使用非CPU硬件进行编码。硬编编码速度更快，CPU...
基本概念
配置管理 配置管理指对网络设备、业务承载服务器、客户IoT资源的配置状态信息的采集和维护，主要包括硬件配置资料、状态数据、网元配置文件备份和巡检的管理。变更中心 业务开通场景管理中心，以自动化模板为原子操作的网络变更编排引擎，...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
管理保密字典
Opaque 若类型选择为 Opaque，则需要配置以下参数：可选：若您输入保密字典的明文数据，请选中 对数据值进行base64编码。配置保密字典的数据。单击+添加，在 名称 和 值 文本框中，输入保密字典名称和值。私有镜像仓库登录密钥 若类型选择...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
管理保密字典
Opaque 若 类型 选择为 Opaque，则需要配置以下参数：可选：若您输入保密字典的明文数据，请选中 对数据值进行base64编码。配置保密字典的数据。单击+添加，在 名称 和 值 文本框中，输入保密字典名称和值。私有镜像仓库登录密钥 若 类型 ...
管理保密字典
Opaque 若 类型 选择为 Opaque，则需要配置以下参数：可选：若您输入保密字典的明文数据，请选中 对数据值进行base64编码。配置保密字典的数据。单击+添加，在 名称 和 值 文本框中，输入保密字典名称和值。私有镜像仓库登录密钥 若 类型 ...
配置报警规则
根据业务需要，选择要配置报警规则的监控项，对此监控项开启 监控状态，设置 存储容量上限、报表 Key 数量上限、日志编码。配置报警规则前，必须先开启 监控状态，否则无法进行后续配置。（可选）新增自定义配置。点击 新增自定义配置，...
properties-默认
SOFABoot 框架是基于 Spring Boot 的中间件解决方案，其读取配置文件的方法与 Spring Boot 的逻辑相同，SOFABoot 通过 application.properties 文件实现全局配置。properties 配置类型 application.properties 中的键值对 key-value 主要...
导入Kafka数据
根据Kafka真实的编码格式更新导入配置。如果需要修复已有的乱码数据，请创建新的Logstore和导入配置。日志服务中显示的数据时间和数据本身的时间不一致。设置导入配置时，没有指定日志时间字段或者设置时间格式、时区有误。设置指定的日志...
捷顺人行设备接入
配置示例：{"systemId":1000,"devIp":"10.249.38.253","desKey":"12345678","devId":"2110_1"}，将设备配置信息添入设备配置编辑框里，如上图所示 第二个门禁设备创建：设备名称：在创建第一个门禁设备时，已经找到门禁控制器的IoT编码是...
数据类型
video_profile alirts_video_encoder_profile_e 视频编码器配置文件。enable_video_enhance int 开启视频增强，图像更清晰。video_enhance_strength float 视频增强强度，取值范围：[1.0,2.0]。sample_rate alirts_audio_sample_rate_e ...
批量配置数据标准
支持通过Excel批量导入或导出数据标准，提升配置效率。本文为您介绍如何批量配置数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下批量导入数据标准。标准集维护人员及标准集成员可以在已加入的标准集下批量导入数据标准。...
批量配置数据标准
支持通过Excel批量导入或导出数据标准，提升配置效率。本文为您介绍如何批量配置数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下批量导入数据标准。标准集维护人员及标准集成员可以在已加入的标准集下批量导入数据标准。...
消息队列 RocketMQ 客户端流控设计
理论上，该配置从发布到下发至所有客户端，可以在 1 秒内完成（取决于网络延时）。代码示例 以下章节给出了基于配置中心来实现异步消息消费的全局动态流控的代码示例。关于 SDK 的详细介绍，参见 消息队列 RocketMQ 和 应用配置管理 ACM ...
数据编码与解码
表单配置方式 配置 处理器类型 为 BASE64（编码），相关参数说明如下表所示。参数 说明 原始字段 原始字段名。结果字段 编码后的结果字段名。原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。JSON配置...
SyncQualityCheck-进行实时质检
变更历史 变更时间 变更内容概要 操作 2023-08-01 API 内部配置变更，不影响调用 看变更集 变更项 变更内容 API 内部配置变更，不影响调用。2023-08-01 API 内部配置变更，不影响调用 看变更集 变更项 变更内容 API 内部配置变更，不影响...
新建数据字典
在 数据字典 配置向导页面，单击 新增数据字典，配置值编码，值名称和值描述信息后，单击 确定。说明 单击 新增数据字典值 可以添加多条数据字典值。当存在一条以上的字典时，支持下拉设置父级字典以及父级字典编码。相关操作 操作 说明 ...
新建数据字典
在 数据字典 配置向导页面，单击 新增数据字典，配置值编码，值名称和值描述信息后，单击 确定。说明 单击 新增数据字典值 可以添加多条数据字典值。当存在一条以上的字典时，支持下拉设置父级字典以及父级字典编码。相关操作 操作 说明 ...
编码解码函数
本文介绍编码解码函数的语法规则，包括参数解释、函数示例等。函数列表 类型 子类 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。str_decode 对数据进行解码。Base64类型 base64_encoding 对数据进行Base64编码。base64_...
通过整库迁移配置集成任务
文件编码：Hive的存储格式为ORC，支持配置文件编码。包括 UTF-8 和 GBK。压缩格式：ORC存储格式 支持 zlib、hadoop-snappy、lz4、none；PARQUET存储格式 支持 gzip、hadoop-snappy。性能配置：Hive的存储格式为ORC，支持配置性能配置。输出...
特征编码
特征编码是将非线性特征通过GBDT编码成线性特征。功能介绍 特征编码由决策树和Ensemble算法挖掘新特征的一种策略，特征来自一个或多个特征组成的决策树叶子结点的one-hot结果。例如，下图有三棵树，共有12个叶子结点。根据树的顺序依次编码...
埋点API
2、页面浏览事件需要埋点的内容为：事件编码：也就是页面编码，在页面浏览事件中事件编码即为页面编码。页面浏览事件的事件属性：具体属性见埋点方案 6.1 pageConfig pageConfig为全局设置页面的页面编码的方式，具体示例如下：const ...
Search
search_query bytes 是 查询配置，由protobuf编码。关于配置项的更多信息，请参见 SearchQuery。routing_values bytes 否 路由键的值。timeout_ms int32 否 查询的超时时间。单位为毫秒。响应消息结构 message SearchResponse { optional ...
开发参考：扩展事件编码
事件编码与事件类型 应用范围 系统模块 事件名称 事件编码 事件分类 事件类型 空间级 数据开发 提交文件 commit-file 扩展点事件 file-change 发布文件 deploy-file 扩展点事件 运行文件 run-file 扩展点事件 删除文件 delete-file 扩展点...
在线高级配置
配置项 可以新增、修改配置项，以下是系统对应配置项：配置名称 配置编码 配置值 配置说明 平均服务时长 AVERAGE_QUEUE_WAIT_TIME 180 平均服务时长，单位秒，用与计算指标 排在第一位时的展示文案 BEING_ENTER 正在为您接入服务，请稍候…...
横向分箱
正样本标签值填写 字段数据类型 是否编码 是否连接配置表 正样本标签值 字符类型 是 是 原值 是 否 编码值 数值类型 否 否 原值 否 是 原值 是 是 原值 是 否 编码值 三、有配置文件可读 在上游有配置文件可以选择的时候，可以使用配置文件...
分箱
正样本标签值填写 字段数据类型 是否编码 是否连接配置表 正样本标签值 字符类型 是 是 原值 是 否 编码值 数值类型 否 否 原值 否 是 原值 是 是 原值 是 否 编码值 三、有配置文件可读 在上游有配置文件可以选择的时候，可以使用配置文件...
ID类型管理
说明 除ID类型编码外，配置项均支持修改，因此您的界面上展示的实际配置可能与下表中的初始配置不同。ID类型 ID类型编码 优先级 单值/多值 启用状态 是否参与ID Mapping OneID ONEID 1 单值 启用 是 社交互动客户编号 MAISCRM_ID 2 多值 否...
DisableUserConfig-停用用户配置
接口说明 本接口一般用于根据异常告警通用配置模块中配置项的编码，停用用户配置，便于用户及时修改用户配置的生效状态。QPS 限制 本接口的单用户 QPS 限制为 10 次/秒。超过限制，API 调用将会被限流，这可能影响您的业务，请合理调用。...
创建变更规则
您可以选择 表达式配置、自定义编码：表达式配置：您可以选择自定义添加或引用系统规则，您可以单击 规则数配置指南 查看自定义配置的规则。自定义编码：您可以单击 说明文档，查看自定义编码的规则。选择变更规则的 校验逻辑。配置完成后...
创建变更规则
您可以选择 表达式配置、自定义编码：表达式配置：您可以选择自定义添加或引用系统规则，您可以单击 规则数配置指南 查看自定义配置的规则。自定义编码：您可以单击 说明文档，查看自定义编码的规则。选择变更规则的 校验逻辑。配置完成后...
OAuth2.0协议对接
mobilePhone 对JSON格式的配置信息进行Base64编码 将以上JSON格式的配置信息放至文本文件中，以.json 格式保存。若您使用的是Mac操作系统，则用以下方式进行Base64编码。打开终端应用程序。输入以下命令进行Base64编码：cat OAuth_config....
云端发布
驱动配置参数说明 参数 描述 配置格式 配置格式有如下三种：键值对配置 JSON格式 配置文件 键值对配置表 配置格式 为 键值对配置 时显示的参数。单击 新增配置，通过设置 配置名称、值、注释 来配置驱动。最多添加100个键值对。配置内容 ...
Logtail
应用配置数 理论上无限制，建议配置数不超过1,000个。性能 限制项 限制说明 日志处理吞吐能力 原始日志流量默认限制为20 MB/s（数据被编码压缩后上传，一般压缩率为5~10倍）。超过该日志流量则有可能丢失日志，您可启动参数 max_bytes_per_...
Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
- 产品推荐
- 这些文档可能帮助您