当前位置:  建站>运营/SEO
本页文章导读:
    ▪每日分析日志文件并将结果入库到MySQL的实现过程讲解      互联网公司每天都要统计日志文件,从中挖掘出想要的信息,比如一个软件的安装量、活跃度等。这些信息都需要入库,并进行展示。下面,对这个实现过程进行讲解。 具体的过程可分为以.........
    ▪cloudera cdh4 环境搭建       最近cloudera hue 环境没有搭建成功,于是开始着手于cloudera 整套环境的搭建,发现网上也有一些文章, 于是借鉴了一些,开始自己着手安装: 1. 安装cloudera manager      cloudera manager .........
    ▪我遇到的PHP编码问题      从昨天开始,这个问题一直困扰着我。 PHP写的网页,一直是乱码。诡异的是,有一个文件夹的文件不是乱码,打开以后显示正常。 把里面的文件挪到其他地方,或者把内容完全复制到另外一.........

[1]每日分析日志文件并将结果入库到MySQL的实现过程讲解
    来源: 互联网  发布时间: 2013-10-27

互联网公司每天都要统计日志文件,从中挖掘出想要的信息,比如一个软件的安装量、活跃度等。这些信息都需要入库,并进行展示。下面,对这个实现过程进行讲解。

具体的过程可分为以下几个步骤:

(1)awk统计日志文件,并将统计结果拼接成sql语句;

(2)写shell脚本,将这些sql语句入库;

(3)将shell脚本加入linux中的计划任务中,让其每天凌晨定时执行,从而实现每天自动分析日志并入库;

下面分步骤进行讲解。

一. awk统计日志文件,并拼接成sql语句

awk是对日志文件分析的一个有效命令,下面通过统计

二. 通过shell脚本将sql语句入库

上面我们通过了awk实现了日志文件的统计结果转化成sql语句,下面我们只需要将读取这些sql语句,并将他们执行即可,这样统计结果自然就录入到数据库中了。入库的shell命令如下所示:

mysql -u$user -p$pass -D $db -e “insert into t_table values(xxx,xxx,xxx);”

参考链接:http://blog.csdn.net/jiedushi/article/details/6448740

这里sql语句入库是从入到主库中,当执行这些insert语句时,读取分离代理器会判断这些sql操作是写数据库操作,会将其写到数据库的主库中。但是,当用户请求读取数据库时,也即select操作,读取分离代理器会判断出select是读操作,会将用户请求转移到从库中,所以读的数据是从从库中读取的。即写是写到主库中,读是从从库读。

参考链接:http://www.cnblogs.com/yangligogogo/articles/1939938.html

三. 将shell脚本加入linux中的计划任务中

将shel脚本加入linux中计划任务,可以通过contrab -e命令实现,通过这个命令可以打开当前用户的计划任务编辑器,用户只需要在这里输入自己想要什么时间想要执行的命令就可以了。linux会定期地从该文件中读取命令并执行。

我们输入命令:contrab -e

然后会打开一个编辑器,在其中输入下面这个命令:

0 5 * * * cd /home/ganji/seanzhao; sh dingding_insert_db.sh

之后保存退出即可。这样便加入了linux的计划任务中,上面的命令会每天凌晨5点执行。

参考链接:http://blog.csdn.net/21aspnet/article/details/6798179

作者:lianxiang_biancheng 发表于2013-4-11 22:28:56 原文链接
阅读:54 评论:0 查看评论

    
[2]cloudera cdh4 环境搭建
    来源: 互联网  发布时间: 2013-10-27


最近cloudera hue 环境没有搭建成功,于是开始着手于cloudera 整套环境的搭建,发现网上也有一些文章,

于是借鉴了一些,开始自己着手安装:

1. 安装cloudera manager  

   cloudera manager 可以通过它来安装cloudera 整个环境,于是先安装 cloudera manager 

  准备安装环境:

  系统:centos 6.3  64位

  安装:jdk

  配置好网络代理和yum代理 (这里是公司环境需要代理上网) 

  最好在/etc/yum.conf增加timeout时间,timeout=55555

  关闭防火墙 service iptables stop

  关闭selinux:setenforce 0或修改/etc/selinux/config:SELINUX=disabled

  安装 postgrasql   提供cloudera manager数据库支持

  ----------------------------------------------------------------------------------

  安装  postgrasql

  在root用户下执行

  安装或者升级postgresql-libs
  yum upgrade postgresql-libs
 
  安装postgresql
  yum install postgresql postgresql-server

 
  初始化数据库以及启动服务
  service postgresql initdb
  service postgresql start

  yum安装postgresql后的安装路径为:/var/lib/pgsql下,主要配置文件在其data文件夹下,进入data文件夹
  修改postgresql.conf文件
  如果想让PostgreSQL监听整个网络的话,将listen_addresses前的#去掉,并将listen_addresses = 'localhost'改成listen_addresses = '*'  ;端口 前面的 #也去掉

  重启服务/etc/init.d/postgresql restart,连接成功

 -----------------------------------------------------------------------------------

 准备安装文件cloudera-manager-installer.bin,这是个二进制文件,下载地址:
https://ccp.cloudera.com/display/SUPPORT/Cloudera+Manager+Downloads, 这个要在64位的机器上运行,
我让它运行在CentOS-6.3,x86_64上。然后设置下执行权限,chmod u+x cloudera-manager-installer.bin
(我就是在这一步卡了半天,老是提示权限神马滴)接着就直接执行它: 

sudo ./ cloudera-manager-installer.bin

 在整个安装过程中,要确保你的机器能够联网,会出现让你选择的画面,一 般就enter、next、accpet就行了,然后慢慢等待等到它自行安装结束。

2.   安装cloudera cdh4环境

  进入cloudera manager 界面 http://10.1.245.171:7180     用户名:admin  密码:admin

  安装步骤一点一点的安装,但是时间会比较长,完成之后直接可以使用了。

作者:qiaochao911 发表于2013-4-11 16:15:36 原文链接
阅读:7 评论:0 查看评论

    
[3]我遇到的PHP编码问题
    来源: 互联网  发布时间: 2013-10-27

从昨天开始,这个问题一直困扰着我。

PHP写的网页,一直是乱码。诡异的是,有一个文件夹的文件不是乱码,打开以后显示正常。

把里面的文件挪到其他地方,或者把内容完全复制到另外一个文件,都还是乱码。

网页内也指定是UTF-8了,网页内容也是UTF-8的。完全是Linux下的操作,按说不会有Windows下那么多蛋疼的问题。

这个问题真是纠结啊…………


后来仔细查看PHP.ini这个文件,有个关于default_charset 是处于注释状态的,而且后面的默认值不是UTF-8。

取消注释,将其改为UTF-8,发现还是不行!嚓!

default_charset = "utf-8"

这都不是事儿,重启apache,成功!


让我纳闷的是,为什么之前有个文件夹下的网页不乱码……


此系统是Fedora core 4, 32bit, php是5.2.8版本的。在比较老的系统上做开发,真是蛋疼10倍不止!

作者:monsion 发表于2013-4-12 10:51:36 原文链接
阅读:0 评论:0 查看评论

    
最新技术文章:
▪SQVI和SAP查询QUERY的区别和使用注意事项    ▪彻底理解Cisco/Linux/Windows的IP路由    ▪Exchange 2010 处于禁止发送用户自动收到来自IT...
▪MB_CHANGE_DOCUMENT使用方法    ▪ALV的html表头    ▪【译】如何精确判断最终用户响应时间过长的...
▪apache2.4.4启用deflate压缩    ▪使用vmware 配置centos 6.0+ 网络出现的各种问题...    ▪十句话教你学会Linux数据流重定向
▪centos6.x已经安装的系统添加图形界面    ▪Linux查看CPU和内存使用情况    ▪win7问题解决,凭据管理器和无法访问,不允...
▪Dynamics CRM 2013 初体验(4):不再被支持的功...    ▪win7下制作ubuntu系统安装启动盘和U盘安装ubuntu...    ▪Linux cp -a用法
▪Windows Server时间服务器配置方法    ▪Tomcat+memcached实现Session共享    ▪Linux修改系统环境变量PATH路径的方法
▪Citrix 服务器虚拟化之二十七 XenApp6.5发布服务...    ▪搭建本地Ubuntu 镜像服务器    ▪Create local metadata resource of yum
▪tsm ANS0326E问题处理    ▪Windows SVN变化邮件通知(Python2.7实现)    ▪linux下的内核测试工具——perf使用简介
▪Nginx TCP Proxy模块的编译安装    ▪OSX: SSH密钥使用日记(2)    ▪OSX: SSH密钥使用日记(1)
▪Manually start and stop Oracle XE in Ubuntu    ▪Disable autostart of Oracle-xe in Ubuntu    ▪tar命令-linux
▪xtrabackup-2.1.2-611安装    ▪无废话ubuntu 13.4文件共享配置    ▪Unix文本处理工具之sed
▪hpux 操作系统 磁带备份与恢复    ▪HP DL360 G7通过iLO部署系统    ▪Redhat 6.0中VNC Server的配置方法
▪hpux 操作系统磁带备份与恢复    ▪用C++编程调用libvirt的API来创建KVM虚拟机    ▪hpux- hp小型机日常硬件故障处理case(一)
▪web集群时session同步的几种方法(统计)    ▪inux常用命令大全    ▪BAT 批处理实现循环备份N天文件夹
▪BIND9私有DNS服务器小环境搭建实验    ▪Exchange2013增量备份    ▪OSSEC Monitor your App log file
▪《深入理解Nginx》阅读与实践(三):使用upstre...    ▪如何给Fedora 15创建磁盘分区    ▪Packet Sniffer Code in C using sockets
▪Error, some other host already uses address    ▪修改uCOS_II以实现“优先级+时间片”联合调度    ▪weblogic开发模式与生产模式介绍
▪Wireshark 高级特性    ▪ubuntu13.04版本下安装RabbitVCS,类似windows的Tortoi...    ▪Apache 一台主机绑定多个域名及虚拟主机
▪linux安全设置    ▪RHEL双网卡绑定    ▪Linux shell if参数
▪Windows配置路由时可以指定源地址啦    ▪centos安装vim7.4    ▪S3C2410 实验三——块拷贝、字拷贝(寄存器的...
▪系统运维——日志处理    ▪ip_conntrack缓存neighbour    ▪关键在封装并发出了帧-IP冲突也无所谓
▪weblogic11g 安装——linux 无图形界面    ▪《数据通信与网络》笔记--SCTP    ▪《数据通信与网络》笔记--TCP中的拥塞控制
▪weblogic11g 安装集群 —— win2003 系统、单台主...    ▪weblogic11g 节点管理器 nodemanager    ▪Citrix 服务器虚拟化之二十六 应用程序虚拟化...
▪如何将windows下的文件夹挂载到linux虚拟机下    ▪在64位AIX6.1下安装SAP JCo    ▪Outlook启动时提示“找不到文件Outlook.pst文件”...
▪weblogic8.1 登陆5 ip 限制    ▪weblogic 内存 及 内存溢出    ▪手把手教你在Windows端搭建Redmine项目管理软件
▪启动及重新启动nginx,重启nginx后丢失nginx.pid问...    ▪Win7实现快速启动栏并实现靠左边的终极操作...    ▪《深入理解Nginx》阅读与实践(二):配置项...
▪显示grub引导菜单    ▪nagios监控主机    ▪linux各种数据流重定向
▪centOS安装chrome浏览器    ▪Slackware 14 安装完全指南    ▪SharePoint 2013的100个新功能之内容管理(三)
▪Citrix 服务器虚拟化之二十一 桌面虚拟化之部...    ▪[问,ask]ubuntu13.04安装vncserver后只显示桌面,不显...    ▪Win7中IIS出现“HTTP 错误 404.17 - Not Found 请求的...
▪CentOS快速安装最新版本的SaltStack    ▪CentOS 6.4 快速安装Nginx笔记    ▪磁盘管理——RAID 0
 


站内导航:


特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

©2012-2021,,E-mail:www_#163.com(请将#改为@)

浙ICP备11055608号-3