企业级系统用户浏览数据存储实例(hbase,hive,impala整合)

来源:转载



1.hbase表设计

建表语句

create 'behavior', 'view', 'attention'

view用于用户的浏览信息的收集,

attention用于用户的关注信息的收集

数据如下

put 'behavior','user1', 'view:2015-10-22', "/x00/x00/x00/x09"

put 'behavior','user1', 'attention:2015-10-23', "/x00/x00/x00/x08"

put 'behavior','user2', 'view:2015-10-22', "/x00/x00/x00/x06"

put 'behavior','user2', 'attention:2015-10-23', "/x00/x00/x00/x05"

put 'behavior','user1', 'view:2015-10-24', "/x00/x00/x00/x0F"

put 'behavior','user2', 'attention:2015-10-24', "/x00/x00/x00/x04"

view:的列为用户操作的时间戳,值为浏览的或关注的用户id

2.hive设计

与hbase集成建表语句如下

create externaltable behavior (

username STRING

, visitsmap<STRING, INT>

, attentionmap<STRING, INT>

)

STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, view:#s:b,attention:#s:b")

TBLPROPERTIES("hbase.table.name"= "behavior");

至此用户的行为数据已经存储好了

由于要集成impala,而impala没有复合数据类型,所以用hive进行高层次的ETL然后供impala使用,由过成还可以对hive表进行分区。根据具成情况而定,如果每天的数据量都很大那就要可以按月分区后在按天进行分区。

hive高层抽取并分区

根据月进行分区

CREATE TABLE behavior_month (

username STRING,

num INT,

event_day STRING

)

PARTITIONED BY(event_month string)

ROW FORMAT DELIMITEDFIELDS TERMINATED BY '/t'

STORED AS textfile;

定期执行分区脚本:

FROM behavior LATERAL VIEW EXPLODE(visits) t as ts, user_id

INSERT OVERWRITE TABLE behavior_month PARTITION(event_month)

select username,  user_id, ts, substr(ts, 1,7) ;

至此已经根据月进行了数据的分区并且抽取去掉了复合数据类型,此表可以在impala中进行计算。

根据月,日进行分区(如果单日数据量都很大时选择此种方式)

CREATE TABLE behavior_month_day (

username STRING,

num INT

)

PARTITIONED BY(event_month STRING, event_day STRING)

ROW FORMATDELIMITED FIELDS TERMINATED BY '/t'

STORED AStextfile;

定期执行分区脚本

FROM behavior LATERAL VIEW EXPLODE(visits) t as ts, user_id

INSERT OVERWRITE TABLE behavior_month_day PARTITION(event_month, event_day)

select username,  user_id, substr(ts, 1,7), ts;

至此已经根据月进行了数据的分区并且抽取去掉了复合数据类型,此表可以在impala中进行计算。

关注的抽取方法同上

数据进入大数据平台的方式

可以在后台用HBASE API进行插入,也可以在前台用js通过HBASE REST 方式进行插入

 



分享给朋友:
您可能感兴趣的文章:
随机阅读: