文章存档
文章中心
2015-03-20 14:37:33
1、创建HDFS目录
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class MakeDir {
public static
2015-03-17 15:39:37
一、前言
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive是由Facebook贡献给Apa
2015-03-17 11:14:53
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。
这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。
组件
Daemon
端口
2015-03-10 21:38:54
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。
一. 场景
为了说明Bloom Filter存在的重要意义，举一个实例：
假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接错综复杂，蜘蛛在网络间爬行很可能会形成“环”。为了避免形
2015-03-10 21:09:19
1. Bit Map算法简介
来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。
2、 Bit Map的基本思想
我们先来看一个具体的例子，假
2015-02-28 15:24:06
发布订阅(pub/sub)是一种消息通信模式，主要的目的是解耦消息发布者和消息订阅者之间的耦合，这点和设计模式中的观察者模式比较相似。pub/sub不仅仅解决发布者和订阅者直接代码级别耦合也解决两者在物理部署上的耦合。redis作为一个pub/sub的server，在订阅者和发布者之间起到了消息路由的功能。订阅者可以通过subscribe和psubscribe命令向redis server订阅自己感兴趣的消息类型，redis将消息类型称
2014-11-05 15:38:40
众议院是根据公民人数组成的，众议员代表着选民的利益，所以人口多的州众议员也多，表决的优势也就多。 参议院是来自各州的，每州两人，总数一百人，参议员代表着各州的利益。
美国所有的政策法规提案都是由众议院起草并通过，而后提交参议院审核。参议院只能表决通过或是不通过，但不能对提案进行修改。 这样的权利分工的目的是: 任何提案都是为了公民的利益，但不能因
2014-10-28 16:05:00
三台服务器，每台的作用如下：
192.168.1.1 NameNode SecondaryNameNode ResourceManager HMaster HQuorumPeer
192.168.1.2 DataNode NodeManager HRegionServer HQuorumPeer
192.168.1.3 DataNode NodeManager HRegionServer H
2014-10-11 09:29:35
分析过程
这个来自一些项目中，获取用户Ip，进行用户操作行为的记录，是常见并且经常使用的。 一般朋友，都会看到如下通用获取IP地址方法。
function getIP() {
if (isset($_SERVER['HTTP_X_FORWARDED_FOR'])) {
$realip = $_SERVER['HTTP_X_FORWARDED_FOR&
2014-08-27 22:10:40
一、对Redis持久化的探讨与理解
目前Redis持久化的方式有两种： RDB 和 AOF
首先，我们应该明确持久化的数据有什么用，答案是用于重启后的数据恢复。
Redis是一个内存数据库，无论是RDB还是AOF，都只是其保证数据恢复的措施。
所以Redis在利用RDB和AOF进行恢复的时候，都会读取RDB或AOF文件，重新加载到内存中。
RDB就是Snapshot快照存储，是默认的持久化方式。
可理解为半持久化模式，
2014-08-27 21:55:26
redis配置文件参数说明:
1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
daemonize no
2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
&n