Hive Job log解析
cat parseHiveJobLog.pl
use Data::Dumper;
if (!defined($ARGV[0]) or $ARGV[0] eq '')
{
print "useage: perl parseJobHistory.pl filename\n";
exit;
}
my $filename = $ARGV[0];
my $json = new JSON;
my %QueryStatus;
my %TaskStatus;
open FILE, "<$filename" or print("can't open $filename\n");
while(<FILE>)
{
chomp;
my $spacepos = index($_,' ');
my $type = substr($_,0,$spacepos);
my $info = substr($_,$spacepos+1,length $_);
if(lc($type) eq 'querystart' || lc($type) eq 'queryend')
{
my %parseBuffer;
$info =~ s/:" /:"/g;
while($info =~ s/(\w+?)="(.*?)"( |$)//)
{
$parseBuffer{$1} = $2;
}
my $queryid = $parseBuffer{'QUERY_ID'};
foreach my $key ( keys %parseBuffer )
{
next if $key eq 'QUERY_ID';
$QueryStatus{$queryid}{$key} = $parseBuffer{$key};
}
}elsif(lc($type) eq 'taskstart' || lc($type) eq 'taskend')
{
my %parseBuffer;
$info =~ s/:" /:"/g;
while($info =~ s/(\w+?)="(.*?)"( |$)//)
{
$parseBuffer{$1} = $2;
}
my $queryid = $parseBuffer{'QUERY_ID'};
my $taskid = $parseBuffer{'TASK_ID'};
foreach my $key ( keys %parseBuffer )
{
next if $key eq 'QUERY_ID' || $key eq 'TASK_ID';
if($key eq 'TASK_COUNTERS')
{
my %taskcounters;
while ($parseBuffer{$key} =~ s/(.*?):(.*?)(,|$)//)
{
$taskcounters{$1} = $2;
}
foreach my $ckey ( keys %taskcounters )
{
$TaskStatus{$queryid}{$taskid}{$key}{$ckey} = $taskcounters{$ckey};
}
}else
{
$TaskStatus{$queryid}{$taskid}{$key} = $parseBuffer{$key};
}
}
}
%parseBuffer = {};
}
close(FILE);
print Dumper %QueryStatus;
print Dumper %TaskStatus;1.主分区+扩展分区<=4
2.扩展分区不能直接使用，需要分成逻辑分区才能使用
3.逻辑分区的个数没有限制
4.linux的层级树形目录结构
5.fdisk -l查看分区列表
6.df 目录全路径 :得到目录所挂载的分区
7.df -h：可以查看分区的使用情况，使用率
8.find -size +10000000 ：大于10G的文件或目录
9.linux安装时，分区是关键
/boot 分区 200M
swap 交换分区 一般是物理内存的2倍
/ 根分区 尽可能大
今天下午，我在读下面这篇文章。
虽然名字叫《PHP最佳实践》，但是它主要谈的不是编程规则，而是PHP应用程序的合理架构。
它提供了一种逻辑和数据分离的架构模式，属于MVC模式的一种实践。我觉得，这是很有参考价值的学习资料，类似的文章网上并不多，所以一边学习，一边就把它翻译了出来。
根据自己的理解，我总结了它的MVC模式的实现方式（详细解释见译文）：
* 视图层（View）：前端网页；
* 逻辑层（Controller）：先是页逻辑（Page Controller），负责处理页面请求；然后，调用业务逻辑（Business Controller），实现具体功能；
* 数据层（Model）：数据保存在数据库之中，上面有一个数据库抽象层，再上面则是一个"数据访问对象"（DAO），它生成"值对象"（Value Object）。业务逻辑通过DAO，操作值对象。
=======================================
PHP最佳实践
原载：http://www.odi.ch/prog/design/php/guide.php
译者：阮一峰
本文给出了PHP程序设计常见问题的解决方法，同时简单描述了PHP应用程序的架构。
1. php.ini设置
php.ini控制了解释器的行为，下面的一些设置保证了你的程序有最大的可移植性。
i. short_open_tag
设为0，即永远使用PHP的长标签形式：<?php echo "hello world"; ?>，不用短标签形式<?= "hello world" ?>。
ii. asp_tags
设为0，不使用ASP标签<% echo "hello world"; %>。
iii. magic_quotes_gpc
建议在脚本中包含一个全局文件，负责在读取$_GET、$_POST、$_COOKIE变量之前，首先检查这个设置是否打开，如果打开了，这对这些变量应用stripslashes函数。（注：该设置已经在PHP 5.3中被废除。）
iv. register_globals
不要依赖这个设置，永远通过全局变量$_GET、$_POST、$_COOKIE去读取GET、POST和COOKIE的值。为了方便起见，建议声明$PHP_SELF = $_SERVER['PHP_SELF']。
v. file_uploads
上传文件的最大大小，由下面的设置决定：
* file_uploads必须设为1（默认值），表示允许上传。