业务线用户路径问题

微信扫一扫,分享到朋友圈

业务线用户路径问题

背景

每个2c公司的公司都会关注用户在自己app活跃的用户的行为轨迹,每个公司的日志格式不一致,对应的做法也都不一致,这里记录一种处理的方式,日志数据来源于与无线日志,主要的存储计算介质为hive。

ps:只处理主流程的路径。

前提

日志格式

简单假设业务线的每行日志中都有uid标识一个唯一的用户,同时有对应的日志的时间戳,同时每行日志还会有一个log_id的字段去代表本行日志,用ref_log_id字段去标识本行日志的来源页面的上级日志的log_id。所以日志可以简单的记录为一下的格式:

2020-09-15 12:00:13.343 uid=xxx,log_id=log_id_xxx,ref_lof_id=ref_log_id_xxx,page=detail

2020-09-15 13:00:14.343 uid=yyy,log_id=log_id_yyy,ref_lof_id=ref_log_id_yyy,page=list

日志格式化

对于上述比较工整的格式的日志,我们需要先将其中的每个字段都解析格式化解析出来。假设上述的日志已经在hdfs的某个路径下了,在路径上建立外表去解析日志即可,建表用的是hive提供的正则去匹配字段,语句如下:

drop table tmp.log_test_20200915;
CREATE EXTERNAL TABLE tmp.log_test_20200915(
time string COMMENT '时间',
uid string COMMENT 'uid',
log_id string COMMENT 'log_id',
ref_log_id string COMMENT 'ref_log_id',
page string COMMENT '用户访问的页面')
COMMENT '测试表'
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'input.regex'='^(.*) uid=(.*),log_id=(.*),ref_lof_id=(.*),page=(.*)$',
'output.format.string'='%1$s %2$s %3$s %4$s %5$s')
LOCATION
'viewfs://cluster/user/test/logtest';

执行上述语句后的结果如下:

到此为止已经将日志做了格式化,将每个字段都匹配了出来。

用户轨迹处理

用户数据预处理

在数据格式化以后需要对用户的数据进行预处理,将每个用户的数据整合到一起。

对于很多关心用户数据的人来说,他们不关系具体的页面只关心具体的页面类型,例如detail是详情页,list是列表页,同时可能会有多个详情页和列表页,首页订单页也类型。在这里我们做一个小小的转换,详情页用D表示,list页用来标识,首页用H来表示…人为的在表里面加上一个page_type的字段去表示页面的类型。

with process_table as (
select
uid,
log_id,
ref_log_id,
page,
case when page  = 'detail' then 'D' when page = 'list' then 'L' end as page_type
from
tmp.log_test_20200915
),
aggregate_table as (
select
uid,
coalesce(concat('{', concat_ws(',', ws_log_id, ws_ref_log_id, ws_page, ws_page_type), '}'), '') json_str
from
(
select
uid,
log_id,
ref_log_id,
page,
page_type,
concat(concat_ws('\":\"', '\"log_id', coalesce(log_id, '')), '\"') ws_log_id,
concat(concat_ws('\":\"', '\"ref_log_id', coalesce(ref_log_id, '')), '\"') ws_ref_log_id,
concat(concat_ws('\":\"', '\"page', coalesce(page, '')), '\"') ws_page,
concat(concat_ws('\":\"', '\"page_type', coalesce(page_type, '')), '\"') ws_page_type
from
process_table
) a
),
json_table as (
select
uid,
concat_ws(',', collect_set (json_str)) json_str
from
aggregate_table
group by
uid
)
select
uid,
concat('[', json_str, ']') json_str
from
json_table

通过上面的sql,我们可以得到一个 uid和用户在当天的所有数据的集合。

执行上述的sql得到的结果如下:

udf方法处理用户路径

这里的例子有点不合理…最好应该是一个用户的两行日志比较好理解数据。

假设我们得到的数据是如下的一行吧

xxx     [{"log_id":"log_id_xxx_current","ref_log_id":"log_id_xxx","page":"detail","page_type":"D"},{"log_id":"log_id_xxx","ref_log_id":"ref_log_id_kkk,"page":"list","page_type":"L"}]

用户的路径是通过log_id来串联的,用udf方法匹配用户的路径。

思路如下:

用一个hash去维护页面上下级的关系,假设detail的上级是list页面,通过log_id的关联关系去递归的匹配用户的路径,一直到某行日志找不到对应的上级页面的日志未知。

代码如下:

import org.apache.hadoop.hive.ql.exec.UDF;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.HashMap;
/**
* get user path in day * * @author test
* created on 2020-01-08 */
public class GetUserPathFunction extends UDF {
private static HashMap<String, String> pageMap = new HashMap<String, String>() {{
put("list", "hotcity");
put("detail", "list,serch_list");
put("preOrder", "detail");
put("createOrder", "preOrder");
}};
//JSONArray result = new JSONArray();
/**
* get user trace from super_log_core table * * @param paths user's paths in one day
* @param logId user's log_id of this log
* @param refLogId user's ref_lof_id of this log
* @param page ticket page
* @param pageType kind of page
*/
public String evaluate(String paths, String logId, String refLogId, String page, String pageType) throws Exception {
JSONArray result = new JSONArray();
innerFunction(paths, logId, refLogId, page, pageType, result);
return result.length() == 0 ? null : result.toString();
}
public void innerFunction(String paths, String logId, String refLogId, String page, String pageType, JSONArray result) throws Exception {
if (null == logId || null == paths || "NULL".equals(logId) || "".equals(logId) || "".equals(paths)) {
return;
}
JSONObject jsonObject = new JSONObject();
jsonObject.put("log_id", logId);
jsonObject.put("ref_log_id", refLogId);
jsonObject.put("page", page);
jsonObject.put("page_type", pageType);
result.put(jsonObject);
if (null == refLogId || "".equals(refLogId)) {
return;
}
JSONArray jsonArray;
try {
jsonArray = new JSONArray(paths);
} catch (Exception e) {
throw new Exception("");
}
for (int i = 0; i < jsonArray.length(); i++) {
JSONObject innerJsonObejct = jsonArray.getJSONObject(i);
if (innerJsonObejct.getString("log_id").equals(refLogId) && pageMap.containsKey(page) && pageMap.get(page).contains(innerJsonObejct.getString("page"))) {
logId = innerJsonObejct.getString("log_id");
refLogId = innerJsonObejct.getString("ref_log_id");
page = innerJsonObejct.getString("page");
pageType = innerJsonObejct.getString("page_type");
innerFunction(jsonArray.toString(), logId, refLogId, page, pageType, result);
break;
}
}
}

在hive中调用udf方法得到的path的结构和我们传进去的类型,只不过我们只会保留能串的起来的用户的路径。

后续处理

得到path以后再对path做拆分,可以得到一个更细化表方便去使用。结构大体如下

字段 类型 含义
uid string uid
log_id string 当前日志的log_id
ref_log_id string 本行日志的上级日志log_id
page string 本行日志对应的页面号
page_type string 页面类型,范围HLDBO
h_log_id string 本行日志的来源首页对应的log_id,如果来源路径中没有首页则为null
h_page string 本行日志的来源首页对应的页面号,如果来源路径中没有首页则为null
l_log_id string 本行日志的来源List页对应的log_id,如果来源路径中没有List页则为null
l_page string 本行日志的来源List页对应的页面号,如果来源路径中没有List页则为null
d_log_id string D页对应的log_id,如果来源路径中没有D页则为null
d_page string D页对应的,如果来源路径中没有D页则为null
b_log_id string 本行日志的来源Booking页对应的log_id,如果来源路径中没有Booking页则为null
b_page string 本行日志的来源Booking页对应的页面号,如果来源路径中没有Booking页则为null
o_log_id string 本行日志的来源(Order页对应的log_id,如果来源路径中没有Order页则为null
o_page string 本行日志的来源Order页对应的页面号,如果来源路径中没有Order页则为null
path string 用户路径,字符数组格式,数组里面是json,json中的字段有log_id,ref_log_id,page,page_type,数组中包含当前页面的json

微信扫一扫,分享到朋友圈

业务线用户路径问题

南亚科技称暂停供货华为 未来向美方申请许可后恢复供货

上一篇

Apache DolphinScheduler高危漏洞CVE-2020-11974、CVE-2020-13922

下一篇

你也可能喜欢

业务线用户路径问题

长按储存图像,分享给朋友