Goalllllllllll

本篇主要讲讲开发过程中可能会遇到的一些问题。主要包括脚本逻辑上的调优和spark开发调优。 为减少画像系统的调度作业时间，使各调度任务能够在更短的时间内，消耗更少的计算资源计算出结果，需要对画像调度系统的性能进行调优。调优的工作包括数据倾斜调优、合并小文件、开发中间表、缓存中间…

在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”、“分析”的。企业内保存了大量的原始数据和各种业务数据，这是企业经营活动的真实记录，如何更加有效地对这些数据加以利用，用这些数据进行分析和评估是…

搭建起一套用户画像系统整体上来说，需要考虑清楚8个系统模块如何设计及实现。这8个模块覆盖数据结构设计、指标体系、数据开发、产品化、画像应用场景等多个方面。 1. 用户画像基础：需要了解、明确用户画像是什么，包含哪些模块，数据仓库架构什么样子、开发流程、表结构设计、ETL设计等方…

在“用户画像—打用户行为标签”中，主要讲了如何对用户的每一次操作行为、业务行为进行记录打上相应的标签。在这篇博客中，主要讲如何对这些明细标签进行计算以及偏好的产品、内容的类目。 行为类型权重：用户浏览、搜索、收藏、下单、购买等不同行为对用户而言有着不同的重要性，一般而言操作复杂…

本篇博客介绍一下画像中需要开发的数据指标与开发过程中表结构的设计。 用户属性指标根据业务数据来源，尽可能全面地描述用户基础属性，这些基础属性值是短期内不会有改变的。如年龄、性别、手机号归属地、身份证归属地等 看用户的消费金额、消费频次、最近消费时间。进一步结合用户登录活跃情况，…

在画像系统的项目规划阶段需要明确好项目的开发上线流程以及项目各个阶段的时间节点、关键产出物和可能遇到的难点。 用户画像建设项目流程如下图。 在建立用户画像前，首先需要明确用户画像服务于企业的对象，根据业务方需求，未来产品建设目标和用户画像分析之后预期效果。 一般而言，用户画像的…

最近在弄画像标签每天ETL的调度事情，这篇博客分享一下一个开源的ETL工具Airflow。 Airflow是Airbnb内部发起并开源的一个ETL管理平台，使用Python编写实现的任务管理、调度、监控工作流平台。这是其官方文档地址：Apache Airflow (incuba…

开发画像后的标签数据，如果只是“躺在”数据仓库中，并不能发挥更大的业务价值。只有将画像数据产品化后才能更方便业务方的使用。这里简要介绍用户画像产品化后，主要可能涵盖到的功能模块，以及这些功能模块的应用场景。 画像产品按常见的功能来看，主要包括标签视图与即时查询，用户分群，用户人…

async--异步将异步从yieled写法中解放出来. await 用于具体的操作前面，表明当前操作为异步操作。 Aiohttp推荐使用ClientSession作为主要的接口发起请求。ClientSession允许在多个请求之间保存cookie以及相关对象信息。 Sessio…