理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 一、相关配置情况 1.1  RM的内存资源配置, 配置的是资源调度相关 RM1：yarn.scheduler.minimum-allocation-mb 分配给AM单个容器可申请的最小内存 RM2：yarn.scheduler.maximum-

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？   因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是  框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以

参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterTable%2FPartitionStatements 这里主要列一些常用操作。   添加分区 ALTER TABLE table_name ADD PARTITION (partCol = '

1. 编译执行Java程序 如果有以下代码 HelloWorld.java public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } } 接下来我们使用 javac 命令来编译 Java 文件，并使用 jav

javac编译源文件，源文件中import了第三方的源文件包，将会提示某些包不存在，二种解决方案如下。  解决方案一： javac命令中有一个选项是classpath -classpath 类路径  设置用户类路径，它将覆盖 CLASSPATH 环境变量中的用户类路径。若既未指定 CLASSPATH 又未指定 -classpa

1、数据去重 　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 　　样例输入如下所示：     

1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是 TaskTracker，J

简介 iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。   语法 iostat [ -c ] [ -d ] [ -h ] [ -N ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -z ] [ device [...] | ALL

合理地选择Job中 Tasks数的大小能显著的改善Hadoop执行的性能。增加task的个数会增加系统框架的开销，但同时也会增强负载均衡并降低任务失败的开销。一个极 端是1个map、1个reduce的情况，这样没有任务并行。另一个极端是1,000,000个map、1,000,000个reduce的情况，会由于 框架的开销过大而使得系统资源耗尽。 Map任务的数量 Map的数量经常 是由输入数 据中的DFS块的数量来决定的

滴滴和快的、58 和赶集、美团和点评，“合并”是今年中国互联网创业公司的关键词。   每一次合并，双方都会宣布双 CEO 执政、保持独立运营。但成长阶段的公司极少有这样运作的例子，最终来自滴滴的程维主导了新公司滴滴出行。更早的优酷土豆合并后，土豆的 CEO 王微很快便离开新公司。   现在轮到美团和点评了，本周大众点评 CEO 张涛宣布不再担任联席 CEO，转为

在使用 JDBC 开发 Hive 程序时,  必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: $HIVE_HOME/bin/hiveserver2 OR hive -service hiveserver2 & #注意，1.0版本以后，用的是hiveserver2 hive server 1的driver classname是org.apache.h

今天我们再谈谈Hive中的三种不同的数据导出方式。 根据导出的地方不一样，将这些方式分为三种： （1）、导出到本地文件系统； （2）、导出到HDFS中； （3）、导出到Hive的另一个表中。 为了避免单纯的文字，我将一步一步地用命令进行说明。 一、导出到本地文件系统 hive> insert overwrite local directory /home/wyp/wyp >