元数据仓库共享模型（Hadoop）
分类 二级分类 表名称 表中文名称 对应通信表 规范建模 规划 dim_dataphin_biz_unit 业务板块表 data_share_finish dim_dataphin_data_domain 数据域表 dim_dataphin_time_period 统计周期表 建模 dim_dataphin_dimension 维度定义表 ...
元数据仓库共享模型（MaxCompute）
分类 二级分类 表名称 表中文名称 对应通信表 规范建模 规划 dim_dataphin_biz_unit 业务板块表 data_share_finish dim_dataphin_data_domain 数据域表 dim_dataphin_time_period 统计周期表 建模 dim_dataphin_dimension 维度定义表 ...
新建实时自定义源类型
配置文件详细说明如下：#声明connector的使用类型（源表、目标表、维表）kind:source sink dim#定义connector名称，格式为CUSTOM_([A-Z|0-9]+)connector:CUSTOM_SOCKET#hostname是connector的一个属性，会在DDL的with参数被展示。...
新建实时自定义源类型
配置文件详细说明如下：#声明connector的使用类型（源表、目标表、维表）kind:source sink dim#定义connector名称，格式为CUSTOM_([A-Z|0-9]+)connector:CUSTOM_SOCKET#hostname是connector的一个属性，会在DDL的with参数被展示。...
模型hitrate评估
emb_dim 32 定义距离计算方式knn_metric 否 召回相似度度量方式，类型为String，取值如下：0:L2 distance 1:Inner Product similarity knn_metric 0 是否使用精确的knn计算knn_strict 否 BOOL类型，取值如下：True：使用精确的knn计算，会...
Profile性能诊断及优化案例
通过优化表结构重新定义DISTRIBUTED字段。再次查看Profile，对比 MaxTime 和 MinTime 下的 SCAN，可以发现数据倾斜问题得到优化。单表物化视图 StarRocks中的单表物化视图（Rollup）是一种特殊的索引，无法直接查询。如果您的数据仓库中...
TensorFlow服务请求构造
} 其中 PredictRequest 定义TensorFlow服务的输入格式，PredictResponse 定义服务的输出格式。关于ProtoBuf的详细用法请参见 ProtoBuf介绍。安装protoc。bin/bash PROTOC_ZIP=protoc-3.3.0-linux-x86_64.zip curl-OL ...
云数据库HBase
必须将HBase的行键定义为结果表的主键（Primary Key），如果没有显示定义主键，默认使用行键作为主键。结果表中不需要将HBase表的所有列族和列都进行声明，只声明需要的即可。WITH参数 通用 参数 说明 数据类型 是否必填 默认值 备注 ...
公共维度汇总层（DIM）
公共维度汇总层（DIM）维表规范 公共维度汇总层（DIM）维表命名规范：dim_{业务板块名称/pub}_{维度定义}[_{自定义命名标签}]，pub是与具体业务板块无关或各个业务板块都可公用的维度。例如，时间维度，举例如下：公共区域维表 dim_pub_...
公共维度汇总层（DIM）
公共维度汇总层（DIM）维表规范 公共维度汇总层（DIM）维表命名规范：dim_{业务板块名称/pub}_{维度定义}[_{自定义命名标签}]，pub是与具体业务板块无关或各个业务板块都可公用的维度。例如，时间维度，举例如下：公共区域维表 dim_pub_...
Hologres开发规范
数据域_数据粒度缩写_业务过程_[{自定义词根}]_统计时间周期 taobao_dws.trd_all_dtr，taobao_dws.log_slr_pv_dtr DIM${bu}_dim.{维度定义}[_{自定义词根}]taobao_cdm.dim_itm ADS${bu}_ads.业务域_维度_[{自定义词根}]_{刷新周期标识} ...
将云电脑、云电脑池或镜像升级为ASP协议
为获得更好的云电脑使用体验，建议您将非ASP协议的云电脑、云电脑池 或自定义镜像免费升级为ASP协议。本文介绍升级方法和相关注意事项。背景信息 协议优势 ASP协议（Adaptive Streaming Protocol）是一套高性能、高可靠、高安全的协议，...
维度建模
分层 规则定义 规则示例 维度层DIM dim_业务大类英文缩写_数据域英文缩写_自定义 e.g：dim_ec_mbr_user_info 会员基础信息维度表_维度表_电商业务_会员域_xxxx。明细数据层DWD dwd_业务大类英文缩写_数据域英文缩写_业务过程英文缩写_...
管理Collections
schema.add_field(field_name="test_vector",datatype=DataType.FLOAT_VECTOR,dim=768)#定义index参数。index_params=client.prepare_index_params()#添加index参数。index_params.add_index(field_name="test_id",#设置索引名称。index_...
CDM公共维度层设计规范
表命名规范 命名规则：{project_name}.dim{业务/pub}{维度定义}[_{自定义命名标签}]，其中的pub与具体业务无关，各个业务部都可以共用，例如时间维度。数据存储及生命周期管理规范 CDM公共维度层的表的类型为维度表，存储方式为按天分区。...
代码模式建模
创建新表 CREATE<table_type>TABLE IF NOT EXISTS-表名[ALIAS]-定义列属性[ALIAS][][COMMENT][WITH(<key>=,.)]-定义约束 PRIMARY KEY(),-维度约束 CONSTRAINT<constraint_name>DIM KEY()REFERENCES(),-层级约束 CONSTRAINT...
EmbeddingVariable
get_embedding_variable(name,embedding_dim,key_dtype=dtypes.int64,value_dtype=None,initializer=None,trainable=True,collections=None,partitioner=None,custom_getter=None,steps_to_live=None,filter_options=variables....
新建普通维度逻辑表
您需要定义 角色英文名 和 角色名称：角色英文名 的前缀默认为 dim，自定义部分的命名规则为：包含字母、数字或下划线（_）。不能超过64个字符。角色名称 的命名规则：包含汉字、数字、字母、下划线（_）或短划线（-）。不能超过64个字符。...
新建普通维度逻辑表
您需要定义 角色英文名 和 角色名称：角色英文名 的前缀默认为 dim，自定义部分的命名规则为：包含字母、数字或下划线（_）。不能超过64个字符。角色名称 的命名规则：包含汉字、数字、字母、下划线（_）或短划线（-）。不能超过64个字符。...
新建事实逻辑表
您需要定义 角色英文名 和 角色名称：角色英文名 的前缀默认为 dim，自定义部分的命名规则为：包含字母、数字或下划线（_）。不能超过64个字符。角色名称 的命名规则：包含汉字、数字、字母、下划线（_）或短划线（-）。不能超过64个字符。...
新建事实逻辑表
您需要定义 角色英文名 和 角色名称：角色英文名 的前缀默认为 dim，自定义部分的命名规则为：包含字母、数字或下划线（_）。不能超过64个字符。角色名称 的命名规则：包含汉字、数字、字母、下划线（_）或短划线（-）。不能超过64个字符。...
维度层（DIM）
以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性、关联维度等定义计算逻辑和雪花模型，完成属性定义的过程并建立一致的数据分析维表。同时您可以定义维度主子关系，子维度的属性将合并至主维度使用，...
逻辑表DQL操作
地址维度逻辑表ld_test.dim_address 关联了 城市维度逻辑表 ld_test.dim_region_lvl3（层级维度逻辑表，在dim_address中的角色名为 dim_city）。以查询某一笔订单（订单ID=123）的客户姓名以及收货城市为例，可以使用以下语句：select crt_...
逻辑表DQL操作
地址维度逻辑表ld_test.dim_address 关联了 城市维度逻辑表 ld_test.dim_region_lvl3（层级维度逻辑表，在dim_address中的角色名为 dim_city）。以查询某一笔订单（订单ID=123）的客户姓名以及收货城市为例，可以使用以下语句：select crt_...
配置及使用数仓分层检查器
当数仓分层中包含命名为 dim_sku、dim_store、dimension_warehouse、fact_order 的表时，触发检测后，检测结果如下表所示。表名称 是否符合数仓分层的命名规范 dim_sku 匹配 dim_store 匹配 ension_warehouse 不匹配。名称不符合以 dim_...
[NOX5500013]too much column dim combination|...
问题描述 Quick BI中数据集预览时报错：“[NOX5500013]too much column dim combination|limit:500”问题原因 是行列字段超了500个限制。解决方案 减少行列字段即可正常查看。适用于 Quick BI 数据集预览 公共云 高级版 V4.2.1
Dataphin即席查询查枚举维度
问题原因 dim_gender是枚举维度，即席查询方法如下：select fct_issue_tracking_zm_di.dim_deinfo.dim_gender.code from LD_dataphin_dayi.fct_issue_tracking_zm_di；或者 select issuedeid,fct_issue_tracking_zm_di.dim_deinfo.dename,...
监控数据
try {/Region维度JSONObject dim=new JSONObject();request.setMetric("RegionTotalInvocations");选择metric。dim.put("region","<your_region>");如:cn-shanghai request.setDimensions(dim.toJSONString());QueryMetricListResponse ...
数仓分层
CDM层又细分为维度层（DIM）、明细数据层（DWD）和汇总数据层（DWS），采用维度模型方法作为理论基础，可以定义维度模型主键与事实模型中外键关系，减少数据冗余，也提高明细数据表的易用性。在汇总数据层同样可以关联复用统计粒度中的维度...
QueryReleaseMetric-查看不同版本的指标
{"data":{"SystemCpuUser":{"all":[{"date":1632798718000,"val":4.3277,"dim":"SystemCpuUser"},{"date":1632798733000,"val":8.1091,"dim":"SystemCpuUser"}]},"SystemMemUtil":{"all":[{"date":1632798718000,"val":73.4227,"dim":...
创建数仓分层
或存放概念模型的维度定义，通过定义维度，确定维度主键，添加维度属性，关联不同维度等操作，构建整个企业的一致性数据分析维表，帮助您降低数据计算口径和算法不统一的风险。对于创建的分层，您可以选择 平铺展示 或 层级结构展示，如下...
数据治理
内置识别规则-手机号-测试数据“1726342*”内置识别规则-IP-测试数据“127.X.X.XX”字段注释识别-字段名称识别 retail_e_commerce_2.dim_ec_mbr_user_info.reg_mobile_phone retail_e_commerce_2_dev.dim_ec_mbr_user_info.reg_mobile_...
Hologres维表
CREATE TABLE rds_dim_table(id INT,len INT,content VARCHAR,PRIMARY KEY(id),PERIOD FOR SYSTEM_TIME-定义维表的变化周期，表明该表是一张会变化的表。with(type='hologres','dbname'='<yourDbname>',-Hologres的数据库名称。'tablename'...
ST_SetMetaData
示例 SELECT ST_MetaData(ST_SetMetaData(rast,'NETCDF_DIM_time','12345'),'NETCDF_DIM_time')FROM raster_table st_metadata-12345 SELECT ST_MetaData(ST_SetMetaData(rast,0,'NETCDF_DIM_time','12345'),0,'NETCDF_DIM_time')FROM ...
ST_SetMetaData
示例 SELECT ST_MetaData(ST_SetMetaData(rast,'NETCDF_DIM_time','12345'),'NETCDF_DIM_time')FROM raster_table st_metadata-12345 SELECT ST_MetaData(ST_SetMetaData(rast,0,'NETCDF_DIM_time','12345'),0,'NETCDF_DIM_time')FROM ...
ST_SetMetaData
示例 SELECT ST_MetaData(ST_SetMetaData(rast,'NETCDF_DIM_time','12345'),'NETCDF_DIM_time')FROM raster_table st_metadata-12345 SELECT ST_MetaData(ST_SetMetaData(rast,0,'NETCDF_DIM_time','12345'),0,'NETCDF_DIM_time')FROM ...
ST_SetMetaData
示例 SELECT ST_MetaData(ST_SetMetaData(rast,'NETCDF_DIM_time','12345'),'NETCDF_DIM_time')FROM raster_table st_metadata-12345 SELECT ST_MetaData(ST_SetMetaData(rast,0,'NETCDF_DIM_time','12345'),0,'NETCDF_DIM_time')FROM ...
Dataphin元数据仓库标准模型文档中表dim_dataphin_...
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。详细信息 物理表每天的增量没法直接看到，只能从元数据上每天计算差值。查看表的存储量需要在元数据仓库中查看表dim_dataphin_table，获取相关信息。此表在...
创建并使用MaxCompute表
层级用于定义和管理数据仓库分层，通常可划分为数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）、应用数据层ADS（Application ...
创建并使用MaxCompute表
层级用于定义和管理数据仓库分层，通常可划分为数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）、应用数据层ADS（Application ...
- 产品推荐
- 这些文档可能帮助您