场景：调度参数在数据集成的典型应用场景
MySQL将源端具有时间格式规律的表通过调度参数实现动态表名配置，进而实现每天将MySQL对应业务表写入MaxCompute表对应分区。如下图所示：场景三：定义目标字段 数据集成任务配置过程中，支持您为目标表某字段赋值同步业务日期的常量值。...
云原生多模数据库Lindorm
动态表模式 动态表模式适用于在表定义中并未指定列名的情况，根据作业运行情况动态创建数据列并插入的场景。例如统计每天每小时的交易量，以天作为主键，小时作为列，每个小时的数据都是动态生成的，示例如下。主键 列名：0点 列名：1点 ...
使用ETL分析实时订单
转换格式 ETL在处理数据时会将流转换为动态表，在该动态表上进行持续查询（即动态表会被INSERT、UPDATE、DELETE操作持续更改），产生一个新的动态表。最终写入目标库时，再将新的动态表会转化为流。当新的动态表转化为流时，您需要指定 ...
通过Flink SQL模式配置ETL任务
动态表中的数据支持通过INSERT、UPDATE和DELETE操作修改，当转换为流时，会将INSERT和UPDATE操作编码为upsert message，将DELETE操作编码为delete message。说明 该编码方式要求动态表具有唯一键（可能是复合的）。append：Append-only流。...
功能发布记录
支持分区表动态分区管理，支持自动创建与删除分区子表，详情请参见 CREATE PARTITION TABLE。新增 UNIQ 精确去重函数，显著提高去重计算效率，优化多Count Distinct场景，节省内存消耗，详情请参见 优化内部表的性能。引擎优化。支持符合...
通过PrestoDB使用Tablestore
步骤三：创建Schema和映射表 使用Meta表动态配置的Schema配置模式时，您需要手动创建并使用Schema用于配置对接的Tablestore实例和进行用户鉴权，然后再创建Tablestore表的映射表用于数据查询和分析。说明 如果使用的是本地静态文件配置的...
Presto Server配置和SQL示例
当使用Meta表动态配置的Schema配置模式时，在启动Presto Server前无需进行Schema配置，只需要在运行SQL CLI后进行Schema和映射表的创建。Catalog配置 Catalog配置文件中包括连接器、Schema配置等配置。配置文件保存路径为PrestoDB安装目录...
读数据表
例如：动态分区表，输入格式为 dt=${yyyyMMdd}，其中${yyyyMMdd} 是系统参数，表示当前日期，${yyyyMMdd-1d} 表示当前日期的前一天。普通分区表，输入分区条件即可。例如：ds=1,ds=2。多级分区表，通过/分隔多级分区，例如 ds=1/name=cat,...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
ALS评分
输出桩 输出桩（从左到右）数据类型 下游组件 评分结果表 无 无 使用示例 用来评分的user因子表和item因子表：输出的user因子表 user_id factors 8528750[0.026986524,0.03350178,0.03532385,0.019542359,0.020429865,0.02046867,0....
动态分区
创建动态分区表 动态分区的规则可以在建表时指定，或者在运行时进行修改。当前仅支持对单分区列的分区表设定动态分区规则。建表时指定动态分区规则的语法如下。CREATE TABLE tbl1(.)PROPERTIES("dynamic_partition.prop1"="value1",...
DML语句
向动态分区表 h_p0 中插入数据。insert into h_p0 partition(dt)select 1,'a1',dt from s;向动态分区（分区字段放在select表达式最后面）h_p1 表中插入数据。insert into h_p1 select 1 as id,'a1','2021-01-03' as dt,'19' as hh;重写表 h...
读写吞吐量
预留读/写吞吐量更新规则 通过UpdateTable接口可以动态修改表的预留读/写吞吐量配置。预留读/写吞吐量的更新规则如下：每个自然日内（UTC时间00:00:00到第二天的00:00:00，北京时间早上8点到第二天早上8点），上调或者下调预留读/写吞吐量...
查看物理表监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
巡检评分
说明 巡检评分实行百分制，系统会根据评分规则对实例运行情况进行扣分，具体请参见 评分规则表。单击目标实例 操作 列的 删除，删除该条巡检评分结果。单击目标实例 操作 列的 扣分详情，查看该实例的 扣分详情 表。单击目标实例 操作 列的...
查看物理表监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
表变更管理
开启动态列 为表开启动态列功能。详细介绍，请参见 动态列。修改 Version Version为列值保留的版本数。取值为大于等于1的整数。默认值为1，表示保留一个版本。Compaction 周期 系统执行 major compaction 的周期，单位为毫秒（ms）。最小...
CREATE PARTITION TABLE
CREATE PARTITION TABLE语句用于创建分区表。...动态分区管理 Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。关于动态分区的管理详情，请参见 动态分区管理。
06物理表质量监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
评分规则
评分规则表 RDS MySQL、自建MySQL和 PolarDB MySQL版：扣分项 含义 扣分子项 条件 所扣分数 CPU使用率（cpuUsage）一天CPU平均使用率，多核CPU换算成单核计算。警告 70%(cpuUsage-0.7)*20 危险 cpuUsage>=80%min[3+(cpuUsage-0.8)*30,10]...
INSERT INTO|OVERWRITE
动态分区表则需要在 select 中包含分区字段，详情请参见 插入或覆写动态分区数据（DYNAMIC PARTITION）。insert overwrite table sale_detail_insert partition(sale_date='2013',region='china')select shop_name,customer_id,total_price...
插入或覆写数据（INSERT INTO|INSERT OVERWRITE）
动态分区表则需要在select中包含分区字段，详情请参见插入或覆写动态分区数据（DYNAMIC PARTITION）。insert overwrite table sale_detail_insert partition(sale_date='2013',region='china')select shop_name,customer_id,total_price ...
操作流程
通过操作流程图及说明，您可以...查看物理表监控明细 通过查看物理表的质量监控报告详情的最新质量评估结果，包含表质量评分详情、字段质量详情等，方便研发运维人员第一时间发现并定位物理表质量问题。具体操作，请参见 查看物理表监控明细。
操作流程
通过操作流程图及说明，您可以...查看物理表监控明细 通过查看物理表的质量监控报告详情的最新质量评估结果，包含表质量评分详情、字段质量详情等，方便研发运维人员第一时间发现并定位物理表质量问题。具体操作，请参见 查看物理表监控明细。
动态列
云原生多模数据库 Lindorm 宽表引擎支持动态列功能，即创建表时未显式指定的列，在实际业务中动态写入数据并执行查询。本文介绍如何通过Lindorm SQL实现动态列能力的开启、写入以及查询。背景信息 传统关系型数据库表的Schema必须预先定义...
ALTER TABLE
ALTER TABLE语法用于修改表的结构，例如增加列、删除列、修改列的数据类型、新增表属性等。本文介绍ALTER TABLE语法在不同引擎中的使用方法和差异。引擎与版本 ALTER TABLE语法适用于宽表引擎和时序引擎。无版本限制。注意事项 ALTER TABLE...
拒绝推断
可视化配置参数 输入桩配置 输入桩（从左到右）限制数据类型 建议上游组件 是否必选 接受样本 无 读数据表、评分卡预测 是 拒绝样本 无 读数据表、评分卡预测 是 组件参数 页签 参数 是否必选 描述 默认值 字段设置 履约/违约预测结果列 是...
数据问答最佳实践
与主表相关的其他易变属性可以在另一张表（动态表）中维护，即为一对多的表依赖关系（动静分离）；应避免多对多的表依赖关系。说明 多表关联可支持一个问题通过多个表格来查询，通过表头的关联关系实现跨表格的查询。且表格间除关联和被...
版本发布说明
新增支持动态调整分区表分区名字的最大长度。优化analyze table逻辑，避免对GSI做统计信息采集。统计信息支持对未采集到的时间列数据进行合理预测。优化表组的表数目过大时，AUTO模式数据库中建表的速度。优化AUTO模式数据库中表数据量较大...
插入或覆写动态分区数据（DYNAMIC PARTITION）
shop_name|customer_id|total_price|sale_date|region|+-+-+-+-+-+|s1|c1|100.1|2013|china|s2|c2|100.2|2013|china|s3|c3|100.3|2013|china|+-+-+-+-+-+示例3：动态分区中，select_statement 字段和目标表动态分区的对应关系是由字段顺序...
Dataphin PyODPS
动态变量${ProjectA} 在开发环境执行时默认被替换为 Project A_dev，在生产环境执行时默认被替换为 ProjectA。当然您也可以直接指定开发项目（ProjectA_dev）或生产项目（ProjectA）。访问逻辑表的SQL语句格式为${Dataphin业务板块英文名}....
Dataphin PyODPS
动态变量${ProjectA} 在开发环境执行时默认被替换为 Project A_dev，在生产环境执行时默认被替换为 ProjectA。当然您也可以直接指定开发项目（ProjectA_dev）或生产项目（ProjectA）。访问逻辑表的SQL语句格式为${Dataphin业务板块英文名}....
使用ClickHouse-Local迁移上云
clickhouse local 示例1：使用集成引擎从MySQL迁移到云数据库ClickHouse企业版 您可以使用集成表引擎（通过MySQL表函数动态创建）从源MySQL数据库读取数据，并使用remoteSecure表函数将数据写入云数据库ClickHouse企业版集群上的目标表。...
电商推荐场景
json格式，例如：{"material":"棉","style":"通勤"} postage 运费 可选 包邮商品运费填0 image_url 商品图片url 可选 提供公网可下载的链接 video_url 商品视频url 可选 提供公网可下载的链接 shop_dsr 商家动态评分 可选 店铺评分，也称：...
常见问题
原因：开启动态列的表可能包含大量的动态列，且表的Schema定义不固定。如果对这类表进行全表扫描，将会导致IO消耗严重，加重实例负载。为避免高负载情况的产生，Lindorm宽表引擎对动态列表的查询语句进行了限制。解决方案：在SELECT语句中...
巡检评分
数据库自治服务DAS（Database Autonomy Service）提供巡检评分功能，每天定时对所有数据库实例进行巡检评分，并且支持自主选择数据库实例和巡检时段，手动发起巡检评分，帮助您了解数据库实例的运行情况。前提条件 目标数据库实例如下：RDS...
数据分层存储
动态管理分区表的存储介质 为了更智能的管理表分区的存储介质，可以使用动态分区功能来设置数据冷热转换规则，实现智能冷热分层存储，有效的平衡成本和性能。更多对于动态管理分区表的信息，详情请参见 动态分区管理。查询存储介质状态 ...
巡检评分
单击目标实例 操作 列的 报告，查看该实例的 评分报告详情 表。单击目标实例ID，跳转到实例的 性能趋势 页，查看该实例的性能趋势。详细内容请参见 性能趋势。单击 按钮，可将巡检评分结果导出到本地。评分规则 扣分项 含义 扣分子项 条件 ...
常见问题（FAQ）
带有静态分区的表 INSERT OVERWRITE TABLE 用于具有动态分区的表 Bucketing 从表中读取时指定架构 在TRUNCATE表中使用PARTITION（part_spec）指定目标分区 Delta Lake是否支持多表事务？Delta Lake不支持多表事务和外键。Delta Lake支持表...
ALS矩阵分解
输出桩 输出桩（从左到右）数据类型 下游组件 user因子表 无 ALS评分 item因子表 无 ALS评分 使用示例 例如，使用如下数据作为ALS算法模板的输入数据，可以获得输出的user因子和item因子：输入数据源 user_id item_id rating 10944750 ...
- 产品推荐
- 这些文档可能帮助您