创建OceanBase数据源
通过创建OceanBase数据源能够实现Dataphin读取OceanBase的业务数据或向OceanBase写入数据。本文为您介绍如何创建OceanBase数据源。背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
创建OceanBase数据源
通过创建OceanBase数据源能够实现Dataphin读取OceanBase的业务数据或向OceanBase写入数据。本文为您介绍如何创建OceanBase数据源。背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库...
聚合支付：Ping+
客户价值 Ping+自成立以来一直专注帮助企业快速高效搭建支付系统，2016年底因业务的发展部分核心业务数据并发写及存储面临瓶颈，需要通过拆分解决这两个痛点，主要考虑到性能、平滑扩容、易维护等需求，经过选型和测试后选择 PolarDB-X，...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
功能简介
将业务数据沉淀为智能数据或智能算子，通过可视化的拖拉拽和简单的图形化条件设定进行模型编排，支持 离线 场景，实现简化建模复杂度、提高模型运行效能、结合智能化算法等帮助用户将数据与业务结合起来，不断积累和沉淀专家业务模型，服务...
新建补数据任务
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 请参见 补数据任务页面入口，进入 补数据任务 页面。在 补数据任务 页面，...
使用场景
本文为您介绍任务编排的应用场景。包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据...数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度，保证任务按时执行。
新建补数据任务
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建补...
需求分析
步骤一：了解已有业务数据 实际操作前，请先了解该项目背景下企业已有的业务数据及其数据格式，以及业务背景分析需要的目标用户画像基本结构。OSS原始日志数据分析（user_log.txt）以下为OSS中存储的 user_log.txt 文件原始数据。remote_...
需求分析
步骤一：了解已有业务数据 实际操作前，请先了解该项目背景下企业已有的业务数据及其数据格式，以及业务背景分析需要的目标用户画像基本结构。OSS原始日志数据分析（user_log.txt）以下为OSS中存储的 user_log.txt 文件原始数据。remote_...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
调用Dataphin数据源
Dataphin数据源后续可以作为Quick BI的数据源，对业务数据进行展示、分析、探查和制作报表等。本文为您介绍如何调用Dataphin数据源。前提条件 在开始执行操作前，请确认您已满足以下条件：已完成Dataphin数据源的开发。具体操作，请参见 ...
上传数据
业务数据：在业务数据页签内，可通过新建数据集上传业务数据。上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，...
上传数据
业务数据：在业务数据页签内，可通过新建数据集上传业务数据。上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
关系图
DataWorks支持的模型及其介绍如下：概念模型-维度：维度是您观察业务状况的视角，您可在维度建模中规划并创建维度，后续创建维度表时进行关联，关联后即可通过不同维度分析呈现不同视角的业务数据状况。逻辑模型-维度表：结合业务的数据域...
AUTO模式核心特性及典型场景
TTL（Time To Live）——自动清理历史数据 某些业务场景下，业务数据增长的很快，并且业务数据的热度随着时间推移会有明显的降低。此时如果数据一直存储在 PolarDB-X 中，既会占用存储空间，也会降低正常业务查询的效率，此种场景很多业务...
集群资源规格评估建议
Core节点组（Kafka Broker）资源评估 评估业务需求 您需要根据业务情况，评估以下参数：扇出因子：业务数据会被下游消费的次数，不包含Kafka本身副本复制产生的消费次数。数据峰值流入：业务数据的峰值流量，单位MB/s。数据平均流入：业务...
申通快递迁移Oracle到Lindorm
业务挑战 目前客户的巴枪、订单、分单等业务每天都产生大量的数据，巴枪业务数据量数亿每天，订单&分单数据量数千万每天，总数据量超百TB。客户业务有面向不同场景的查询需求，既有根据订单号的点查，也有其他多种不同维度的范围甚至模糊...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
集群数据盘使用率告警
处理方法 打开 租户管理 页面，查看租户的 已使用磁盘，如果所有租户累计使用磁盘空间很大，表示业务数据量确实很大，需要对集群做扩容处理。登录业务租户，查询是否开启了回收站：show variables like 'recyclebin'，ON 表示开启，OFF ...
什么是数据库存储DBFS
若业务数据增长后，可友好的在线扩容。共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展。主备高可用：基于共享存储实现数据库主备无数据丢失的秒级切换。多活高可用：可部署例如Oracle RAC、SAP HANA等数据库及应用集群。一...
数据开发：开发者
通常，写入原始业务数据至DataWorks，并加工为最终结果表的过程如下：在DataWorks创建多个数据表。例如：源表：存储从其他数据源同步过来的数据。结果表：存储经DataWorks清洗加工过的数据。创建同步任务，将业务数据同步至上述源表。创建...
数据字典
在数仓开发和数据分析过程中，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表时，您可以通过使用数据字典来替代维度表实现，避免使用Join语句，从而提升查询效率。注意事项 以下版本的 云数据库ClickHouse 集群不支持...
新零售：杭州数云信息技术有限公司
单机存储瓶颈，传统数据库单个实例只能存3T数据，单实例业务数据量大，维护成本高，代码配置复杂。高并发写诉求，对高并发状态下的写能力有较高要求。解决方案 PolarDB 在大促期间可以在20分钟内完成10TB级数据的集群升配，快速弹升IOPS的...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
背景信息以及准备工作
LOG+OSS+DLA+DataV 将业务应用程序产出的业务日志采集到日志服务中，通过定时日志投递（最小5分钟延迟）到OSS中，再通过定时查询，刷新到业务数据大屏中。上述方案有以下优势：日志服务（Log Service，简称LOG/原SLS）是针对实时数据一站式...
新零售：特步
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
Slowly Changing Dimension
业务数据随着时间在不断变化，如果您要对数据进行分析，则需要考虑如何存储和管理数据。其中数据中随着时间变化的维度被称为Slowly Changing Dimension（SCD）。E-MapReduce根据实际的数仓场景定义了基于固定粒度的缓慢变化维（G-SCD）。...
逻辑数仓
灵活多变的分析需求 数仓通过数据清洗、数仓建模、集中化等方式标准化业务数据，能够有效提高数据获取、统计和分析的效率，但在应对业务迭代较快的场景，标准数仓难以适用于新的业务，无法满足灵活多变的业务分析需求。从近年客户的需求来...
某历史养成类游戏开发公司实时计算和数据仓库方案
梳理业务数据，对数据进行分层存储在Lindorm SQL+Spark中：1）操作数据层：手游客户端、用户中心、广告监测、游戏服务器等产生的原始日志；2）数据明细层：操作数据层使用Spark Streaming等进行数据去噪、去重、字段规范后写入Lindorm SQL...
应用场景
在数据湖场景下，通过采集程序，将用户的埋点日志近实时写入到OSS-HDFS，并使用Sqoop定时将业务数据库的数据同步到OSS-HDFS。在EMR集群中，利用Hive和Spark对原始数据进行清洗和加工，提取业务所需的指标，例如日活跃用户、用户留存、某SKU...
应用场景
该场景可实现：实时多源数据同步 支持多业务数据源，结构化非结构化数据的实时同步。营销效果实时反馈 支持对海量日志数据和业务进行即时的复杂关联计算，提高营销效果反馈及时性。商业智能报表 该场景要求支持海量数据实时入库和计算，...
数据仓库研发规范概述
数据仓库研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，赋能企业、政府更强大的数据掌控力来应对海量增长的业务数据，从而释放更多人力与财力专注...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
逆向建模：物理表反向建模
创建的模型可归属于 公共层 或 应用层，不同层级归属需单独完成如下准备：公共层：已创建数据域，用于确定模型所统计的业务数据范围。详情请参见 数据域。已创建业务过程，用于确定模型所统计分析的具体业务活动。详情请参见 业务过程。...
- 产品推荐
- 这些文档可能帮助您