Have the good day
Have the good day

一个在多线程中使用 java.util.logging.Logger 类时应注意的问题

 


前段时间开始写一个 gdflbd(generate datasets for learning big data,生成用于学习大数据的数据集)工具:GitHub 地址

其中使用了 java.util.logging.Logger 类来输出生成的日志文件,在多线程环境中使用该类有一个需要注意的地方,记录如下:

解决 Atlas 内置 Zookeeper 与现有集群 Zookeeper 的端口冲突问题

 


这两天安装 Atlas1.2.0(内置 HBase、Solr 模式)的时候,遇到了这个问题:

内置模式下,HBase 会启动一个内置的 Zookeeper 实例,默认也是使用 2181 端口,遇到集群现有的 Zookeeper 已经启动,2181 端口被占用的情况,这个内置的 Hbase 就会启动失败,导致 Atlas 不可用

用于学习的大数据集群环境搭建(上)

 

用于学习的大数据集群环境搭建(上)

 

最近学习用的集群连续出现问题,用的时间有点长了,东西太多,于是推倒重建,顺便复习温故

 


 

虚拟机 Cluster_Node1 Cluster_Node2 Cluster_Node3
hostname node1.lvm-domain node2.lvm-domain node3.lvm-domain
ip 172.31.31.51 172.31.31.52 172.31.31.53
CPU内核数 4 2 2
内存 4 2 2
整体规划 单独安装的应用
+ 全部安装的应用
HA1
+ 全部安装的应用
HA2
+ 全部安装的应用

 

Junit5 与 Hive 的依赖冲突

Junit5 与 Hive 的依赖冲突

 


今天在给一个旧工程添加 hive 依赖后,出现测试方法报错的问题,而且之前能正常跑的测试方法,现在也一样报错

1

 


仔细看上面报错信息,里面报的 junit 版本是 3.8.1 版,而这个项目使用的依赖是 5.7.2 版,推测是依赖冲突引起的问题

关于 “文档注释”

 

用于 logger sink 的 log4j.properties 配置

 


今天在使用 logger sink 测试自定义拦截器的时候,遇到了 ”控制台没显示日志“ 的问题

 


但翻看 Flume 的日志文件,又能看到自定义的拦截器其实已经正常工作了,只是 logger sink 没输出日志

Nginx Kafka Module 安装与演示

 

Nginx Kafka Module 安装与演示

 


GitHub 链接

Nginx kafka module is used to receive http post data and deliver messages to kafka

Nginx Kafka Module 是一个 Nginx 的模块,用来接收 http 发送的数据,并投递给 Kafka

适用场景举例:在网站上记录用户行为(比如点击了某一个链接),直接投递给 Kafka ,省去了采集日志的环节,或避免了复杂的业务逻辑