Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 Daemon 端口

Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。  一. 场景  　　为了说明Bloom Filter存在的重要意义，举一个实例： 　　假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接错综复杂，蜘蛛在网络间爬行很可能会形成“环”。为了避免形

1. Bit Map算法简介         来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。   2、 Bit Map的基本思想         我们先来看一个具体的例子，假

发布订阅(pub/sub)是一种消息通信模式，主要的目的是解耦消息发布者和消息订阅者之间的耦合，这点和设计模式中的观察者模式比较相似。pub/sub不仅仅解决发布者和订阅者直接代码级别耦合也解决两者在物理部署上的耦合。redis作为一个pub/sub的server，在订阅者和发布者之间起到了消息路由的功能。订阅者可以通过subscribe和psubscribe命令向redis server订阅自己感兴趣的消息类型，redis将消息类型称

      众议院是根据公民人数组成的，众议员代表着选民的利益，所以人口多的州众议员也多，表决的优势也就多。 参议院是来自各州的，每州两人，总数一百人，参议员代表着各州的利益。 　　      美国所有的政策法规提案都是由众议院起草并通过，而后提交参议院审核。参议院只能表决通过或是不通过，但不能对提案进行修改。 这样的权利分工的目的是: 任何提案都是为了公民的利益，但不能因

三台服务器，每台的作用如下： 192.168.1.1 NameNode SecondaryNameNode ResourceManager HMaster HQuorumPeer 192.168.1.2 DataNode NodeManager HRegionServer HQuorumPeer 192.168.1.3 DataNode NodeManager HRegionServer H

分析过程 这个来自一些项目中，获取用户Ip，进行用户操作行为的记录，是常见并且经常使用的。 一般朋友，都会看到如下通用获取IP地址方法。 function getIP() { if (isset($_SERVER['HTTP_X_FORWARDED_FOR'])) { $realip = $_SERVER['HTTP_X_FORWARDED_FOR&

CentOS和Ubuntu命令对比(区别)

一、对Redis持久化的探讨与理解 目前Redis持久化的方式有两种： RDB 和 AOF 首先，我们应该明确持久化的数据有什么用，答案是用于重启后的数据恢复。 Redis是一个内存数据库，无论是RDB还是AOF，都只是其保证数据恢复的措施。 所以Redis在利用RDB和AOF进行恢复的时候，都会读取RDB或AOF文件，重新加载到内存中。 RDB就是Snapshot快照存储，是默认的持久化方式。 可理解为半持久化模式，

redis配置文件参数说明:    1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程     daemonize no 2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定    &n

现在的CMS系统、博客系统、BBS等都喜欢使用标签tag作交叉链接，因此我也尝鲜用了下。但用了后发现我想查询某个tag的文章列表时速度很慢，达到5秒之久！百思不解(后来终于解决)，我的表结构是下面这样的，文章只有690篇。 文章表article(id,title,content) 标签表tag(tid,tag_name) 标签文章中间表article_tag(id,tag_id,article_id) 其中有个标签的tid是1

一、个人所得税主要修改内容如下： 变更内容 修改前 修改后 费用扣除标准（起征点） 2,000元，外籍（含港澳台）为4,800元 提高至3,500元，外籍（含港澳台）不变