169it科技资讯
169it -->


当前位置:  互联网>综合
本页文章导读:
    ▪Tomcat7.0.40 基于DataSourceRealm的和JDBCRealm的资源用户访问控制      软件版本: Tomcat 7.0.40 Mysql: 5.1 Host: CentOS 6.3 64bit 使用JDBCRealm (Tomcat 会使用所给的JDBC Connecter 自己去连MySQL 数据库并进行用户验证): 1) 下载MySQL-JDBC connector 如mysql-connector-java-5.1.24-bin.jar放......
    ▪利用SQOOP将ORACLE到HDFS      #Oracle的连接字符串,其中包含了URL,SID,和PORT URL=jdbc:oracle:thin:@132.232.19.79:10521:szdw #使用的用户名 USERNAME=szdw #使用的密码 PASSWORD=szdw #需要从Oracle中导入的表名 TableNAME=proc_resource_admin #需要从Or......
    ▪django输出 hello world      liuken@liuken-MS-7798:~$ python manage.py runserver python: can't open file 'manage.py': [Errno 2] No such file or directory liuken@liuken-MS-7798:~$ cd /usr/local/bin liuken@liuken-MS-7798:/usr/local/bin$ python manage.py runserver python: can't open ......
      最新IT科技资讯推荐: -1

[1]Tomcat7.0.40 基于DataSourceRealm的和JDBCRealm的资源用户访问控制
    来源: 互联网  发布时间: 2013-10-26

软件版本:

Tomcat 7.0.40

Mysql: 5.1

Host: CentOS 6.3 64bit


使用JDBCRealm (Tomcat 会使用所给的JDBC Connecter 自己去连MySQL 数据库并进行用户验证):

1) 下载MySQL-JDBC connector 如mysql-connector-java-5.1.24-bin.jar放到$CATALINA_HOME/lib目录下;

2) 连上MySQL 创建数据库(比如数据库名字叫DBName),在此库里面创建2个表(users表和roles表),表结构如下:

CREATE TABLE `roles` (
  `Id` int(11) NOT NULL AUTO_INCREMENT,
  `Role` varchar(50) DEFAULT NULL,
  `Username` varchar(50) DEFAULT NULL,
  PRIMARY KEY (`Id`)
) ;

CREATE TABLE `users` (
  `Id` int(11) NOT NULL AUTO_INCREMENT,
  `Username` varchar(50) NOT NULL DEFAULT '',
  `Password` varchar(50) DEFAULT '',
  `Email` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`Id`)
) ;

INSERT INTO `users` VALUES (1,'root','password',NULL);

INSERT INTO `roles` VALUES (1,'rootgrp','root');

表示root用户在rootgrp组里。

3)配置Tomcat $CATALINA_HOME/conf/server.xml

比如在Engine Section下增加:

<Realm className="org.apache.catalina.realm.JDBCRealm"
             driverName="com.mysql.jdbc.Driver"

             factory="org.apache.tomcat.jdbc.pool.DataSourceFactory"    <!-- 使用Tomcat 新的ConnectionPool-->
             connectionURL="jdbc:mysql://localhost:3306/DBName?user=root&amp;password=password"
             userTable="users"
             userNameCol="username"
             userCredCol="password"
             userRoleTable="roles"
             roleNameCol="role"/>

注意: Tomcat7默认的server.xml里面在Engine里面也有一段Realm配置代码,如下面所示, 此处需要注释掉它,否则会出问题。

<!--   <Realm className="org.apache.catalina.realm.LockOutRealm"> -->
<!--
       <Realm className="org.apache.catalina.realm.UserDatabaseRealm"
               resourceName="UserDatabase"/>
       </Realm>
-->


4)在你应用包的WEB-INF/web.xml里增加如下,做资源访问限制,否则上面配置不起作用,如果想让访问整个site都起作用,在webapps/ROOT/WEB-INF/web.xml里增加以下内容。

<web-app .........>

..................

<security-constraint>
     <web-resource-collection>
       <web-resource-name>web pages</web-resource-name>
       <url-pattern>/*</url-pattern>   <!-- 限制整个节点 只有rootgrp的人才能访问-->
     </web-resource-collection>
     <auth-constraint>
       <role-name>rootgrp</role-name>
     </auth-constraint>
  </security-constraint>

  <login-config>
    <auth-method>BASIC</auth-method>
    <realm-name>Tomcat Application</realm-name>
  </login-config>

  <security-role>
    <description>
      The role that is required to access the pages of this website
    </description>
    <role-name>rootgrp</role-name>
  </security-role>
.............

</web-app>

重启即可。

如果想用DataSourceRealm去做访问控制认证,重复以上步骤,但唯一需要改动的是将第3)步替换为下面的3A)步骤,

3A)在$CATALINA_HOME/conf/server.xml文件中,在<GlobalNamingResources>一节下增加一个DataSource资源如下:

<GlobalNamingResources>

       <Resource name="jdbc/DBName" auth="Container"
              type="javax.sql.DataSource"

              factory="org.apache.tomcat.jdbc.pool.DataSourceFactory"  <!-- 使用Tomcat 新的ConnectionPool-->
              maxActive="100" maxIdle="30" maxWait="10000"
              username="root" password="password"
              driverClassName="com.mysql.jdbc.Driver"
              url="jdbc:mysql://localhost:3306/DBName" />

</GlobalNamingResources>


然后再在此server.xml里面的如<Engine>Section下面增加以下内容

<Realm className="org.apache.catalina.realm.DataSourceRealm"
             dataSourceName="jdbc/DBName"
             userTable="users"
             userNameCol="Username"
             userCredCol="Password"
             userRoleTable="roles"
             roleNameCol="Role"/>

同样的,需要把Server.xml里面默认的那个Realm给注释掉。


重启Tomcat即可。



作者:AbnerChai 发表于2013-7-31 16:12:58 原文链接
阅读:52 评论:0 查看评论

    
[2]利用SQOOP将ORACLE到HDFS
    来源: 互联网  发布时间: 2013-10-26

#Oracle的连接字符串,其中包含了URL,SID,和PORT
URL=jdbc:oracle:thin:@132.232.19.79:10521:szdw

#使用的用户名
USERNAME=szdw
#使用的密码
PASSWORD=szdw
#需要从Oracle中导入的表名
TableNAME=proc_resource_admin
#需要从Oracle中导入的表中的字段名
COLUMNS=AREA_ID,TEAM_NAME
#将Oracle中的数据导入到HDFS后的存放路径
HADFPATH=/home/hadoop/data/proc_resource_admin

#执行导入逻辑。将Oracle中的数据导入到HDFS中
sqoop import --append --connect $URL --username $USERNAME --password $PASSWORD --target-dir $HAFSPATH  --num-mappers 1 --table $TABLENAME --COLUMNS $columns --fields-terminated-by '\t';

执行这个脚本之后,导入程序就完成了。

接下来,用户可以自己创建外部表,将外部表的路径和HDFS中存放Oracle数据的路径对应上即可。

注意:这个程序导入到HDFS中的数据是文本格式,所以在创建Hive外部表的时候,不需要指定文件的格式为RCFile,而使用默认的TextFile即可。数据间的分隔符为'\t'。如果多次导入同一个表中的数据,数据以append的形式插入到HDFS目录中。

并行导入

假设有这样这个sqoop命令,需要将Oracle中的数据导入到HDFS中:

sqoop import --append --connect $URL --username $USERNAME --password $PASSWORD --target-dir $HDFSPATH  --m 1 --table $TABLENAME --columns $columns --fields-terminated-by '\t'  --where "data_desc='2011-02-26'";

请注意,在这个命令中,有一个参数“-m”,代表的含义是使用多少个并行,这个参数的值是1,说明没有开启并行功能。

现在,我们可以将“-m”参数的值调大,使用并行导入的功能,如下面这个命令:

sqoop import --append --connect $URL --username $USERNAME --password $PASSWORD --target-dir $HDFSPATH  --m 4 --table $TABLENAME --columns $columns --fields-terminated-by '\t'  --where "data_desc='2011-02-26'";

一般来说,Sqoop就会开启4个进程,同时进行数据的导入操作。

但是,如果从Oracle中导入的表没有主键,那么会出现如下的错误提示:

ERROR tool.ImportTool: Error during import: No primary key could be found for table creater_user.popt_cas_redirect_his. Please specify one with --split-by or perform a sequential import with '-m 1'.

在这种情况下,为了更好的使用Sqoop的并行导入功能,我们就需要从原理上理解Sqoop并行导入的实现机制。

如果需要并行导入的Oracle表的主键是id,并行的数量是4,那么Sqoop首先会执行如下一个查询:

select max(id) as max, select min(id) as min from table [where 如果指定了where子句];

通过这个查询,获取到需要拆分字段(id)的最大值和最小值,假设分别是1和1000。

然后,Sqoop会根据需要并行导入的数量,进行拆分查询,比如上面的这个例子,并行导入将拆分为如下4条SQL同时执行:

select * from table where 0 <= id < 250;

select * from table where 250 <= id < 500;

select * from table where 500 <= id < 750;

select * from table where 750 <= id < 1000;

注意,这个拆分的字段需要是整数。

从上面的例子可以看出,如果需要导入的表没有主键,我们应该如何手动选取一个合适的拆分字段,以及选择合适的并行数。

再举一个实际的例子来说明:

我们要从Oracle中导入creater_user.popt_cas_redirect_his。

这个表没有主键,所以我们需要手动选取一个合适的拆分字段。

首先看看这个表都有哪些字段:

然后,我假设ds_name字段是一个可以选取的拆分字段,然后执行下面的sql去验证我的想法:

select min(ds_name), max(ds_name) from creater_user.popt_cas_redirect_his where data_desc='2011-02-26'

发现结果不理想,min和max的值都是相等的。所以这个字段不合适作为拆分字段。

再测试一下另一个字段:CLIENTIP
select min(CLIENTIP), max(CLIENTIP) from creater_user.popt_cas_redirect_his where data_desc='2011-02-26'

这个结果还是不错的。所以我们使用CLIENTIP字段作为拆分字段。

所以,我们使用如下命令并行导入:

sqoop import --append --connect $URL --username $USERNAME --password $PASSWORD --target-dir $HDFSPATH  --m 12 --split-by CLIENTIP --table $TABLENAME --columns $columns --fields-terminated-by '\t'  --where "data_desc='2011-02-26'";

这次执行这个命令,可以看到,消耗的时间为:20mins, 35sec,导入了33,222,896条数据。

另外,如果觉得这种拆分不能很好满足我们的需求,可以同时执行多个Sqoop命令,然后在where的参数后面指定拆分的规则。如:

sqoop import --append --connect $URL --username $USERNAME --password $PASSWORD --target-dir $HDFSPATH  --m 1 --table $oTABLENAME --columns $columns --fields-terminated-by '\t'  --where "data_desc='2011-02-26' logtime<10:00:00"


    
[3]django输出 hello world
    来源: 互联网  发布时间: 2013-10-26

liuken@liuken-MS-7798:~$ python manage.py runserver

python: can't open file 'manage.py': [Errno 2] No such file or directory
liuken@liuken-MS-7798:~$ cd /usr/local/bin
liuken@liuken-MS-7798:/usr/local/bin$ python manage.py runserver
python: can't open file 'manage.py': [Errno 2] No such file or directory
liuken@liuken-MS-7798:/usr/local/bin$ ls
cftp     django-admin.py  manhole     tap2deb     tkconch
ckeygen  lore             pyhtmlizer  tap2rpm     trial
conch    mailmail         scrapy      tapconvert  twistd
liuken@liuken-MS-7798:/usr/local/bin$ cd ..
liuken@liuken-MS-7798:/usr/local$ cd ..
liuken@liuken-MS-7798:/usr$ cd ..
liuken@liuken-MS-7798:/$ cd home
liuken@liuken-MS-7798:/home$ cd liuken
liuken@liuken-MS-7798:~$ cd djcode
liuken@liuken-MS-7798:~/djcode$ cd mysite
liuken@liuken-MS-7798:~/djcode/mysite$ python manage.py runserver
Validating models...


0 errors found
July 31, 2013 - 07:04:05
Django version 1.5.1, using settings 'mysite.settings'
Development server is running at http://127.0.0.1:8000/
Quit the server with CONTROL-C.
/usr/local/lib/python2.7/dist-packages/django/conf/urls/defaults.py:3: DeprecationWarning: django.conf.urls.defaults is deprecated; use django.conf.urls instead
  DeprecationWarning)


[31/Jul/2013 07:04:21] "GET / HTTP/1.1" 404 2002
[31/Jul/2013 07:04:59] "GET /hello HTTP/1.1" 301 0
[31/Jul/2013 07:04:59] "GET /hello/ HTTP/1.1" 200 11

http://127.0.0.1:800


 开发服务器的地址是 http://127.0.0.1:8000/ ,打开你的浏览器访问 http://127.0.0.1:8000/hello/ 。 你就可以看到输出结果了。 开发服务器将自动检测Python代码的更改来做必要的重新加载


输出结果:

Hello world



向做到这些,你必须:


你需要输入到views.py文件:


from django.http import HttpResponse

def hello(request):
    return HttpResponse("Hello world")


urls.py 文件

from django.conf.urls.defaults import *
from mysite.views import hello

urlpatterns = patterns('',
    ('^hello/$', hello),
)

我们做了两处修改。

  • 首先,我们从模块 (在 Python 的 import 语法中, mysite/views.py 转译为 mysite.views ) 中引入了 hello 视图。 (这假设mysite/views.py在你的Python搜索路径上。关于搜索路径的解释,请参照下文。)

    4

  • 接下来,我们为urlpatterns加上一行:(‘^hello/$’, hello),这行被称作URLpattern,它是一个Python的元组。元组中第一个元素是模式匹配字符串(正则表达式);第二个元素是那个模式将使用的视图函数。

简单来说,我们只是告诉 Django,所有指向 URL /hello/ 的请求都应由 hello 这个视图函数来处理。


作者:huaweitman 发表于2013-7-31 20:13:36 原文链接
阅读:49 评论:0 查看评论

    
最新技术文章:
▪用户及权限基础 2---- Linux权限    ▪用户及权限基础 3---- Linux扩展权限    ▪git 简明教程(1) --创建及提交
▪背包 代码    ▪json对象的封装与解析    ▪01背包,完全背包,多重背包 ,模板代码
▪apache安装详解    ▪HDU 4668 Finding string (解析字符串 + KMP)    ▪《TCP-IP详解 卷1:协议》学习笔记(二)
▪《TCP-IP详解 卷1:协议》学习笔记(持续更新    ▪windows下使用swig    ▪gensim试用
▪Linux Shell脚本编程--nc命令使用详解    ▪solr对跨服务器表联合查询的配置    ▪递归和非递归实现链表反转
▪Linux磁盘及文件系统管理 1---- 磁盘基本概念    ▪Cholesky Decomposition    ▪HTTP协议学习
▪用C语言写CGI入门教程    ▪用hdfs存储海量的视频数据的设计思路    ▪java多线程下载的实现示例
▪【原创】eAccelerator 一个锁bug问题跟踪    ▪hadoop学习之ZooKeeper    ▪使用cuzysdk web API 实现购物导航类网站
▪二维数组中的最长递减子序列    ▪内嵌W5100的网络模块WIZ812MJ--数据手册    ▪xss 跨站脚本攻击
▪RobotFramework+Selenium2环境搭建与入门实例    ▪什么是API    ▪用PersonalRank实现基于图的推荐算法
▪Logtype    ▪关于端口号你知道多少!    ▪Linux基本操作 1-----命令行BASH的基本操作
▪CI8.7--硬币组合问题    ▪Ruby on Rails 学习(五)    ▪如何使用W5300实现ADSL连接(二)
▪不允许启动新事务,因为有其他线程正在该会    ▪getting start with storm 翻译 第六章 part-3    ▪递归求排列和组合(无重复和有重复)
▪工具类之二:RegexpUtils    ▪Coding Interview 8.2    ▪Coding Interview 8.5
▪素因子分解 Prime factorization    ▪C# DllImport的用法    ▪图的相关算法
▪Softmax算法:逻辑回归的扩展    ▪最小生成树---Kruskal算法---挑战程序设计竞赛    ▪J2EE struts2 登录验证
▪任意两点间的最短路径---floyd_warshall算法    ▪Sqoop实现关系型数据库到hive的数据传输    ▪FFMPEG采集摄像头数据并切片为iPhone的HTTP Stream
▪Ubuntu 13.04 – Install Jetty 9    ▪TCP/IP笔记之多播与广播    ▪keytool+tomcat配置HTTPS双向证书认证
▪安装phantomjs    ▪Page Redirect Speed Test    ▪windows media player 中播放pls的方法
▪sre_constants.error: unbalanced parenthesis    ▪http headers    ▪Google MapReduce中文版
▪The TCP three-way handshake (connect)/four wave (closed)    ▪网站反爬虫    ▪Log4j实现对Java日志的配置全攻略
▪Bit Map解析    ▪Notepad 快捷键 大全    ▪Eclipse 快捷键技巧 + 重构
▪win7 打开防火墙端口    ▪Linux Shell脚本入门--awk命令详解    ▪Linux Shell脚本入门--Uniq命令
▪Linux(Android NDK)如何避免僵死进程    ▪http Content-Type一览表    ▪Redis实战之征服 Redis + Jedis + Spring (二)
▪Tomcat7.0.40 基于DataSourceRealm的和JDBCRealm的资源    ▪利用SQOOP将ORACLE到HDFS    ▪django输出 hello world
▪python re    ▪unity3D与网页的交互    ▪内存共享基本演示
▪python join    ▪不再为无限级树结构烦恼,且看此篇    ▪python实现变参
▪打开文件数限制功能不断地制造问题    ▪Arduino Due, Maple and Teensy3.0 的 W5200性能测试    ▪Selenium实例----12306网站测试
▪基于协同过滤的推荐引擎    ▪C4.5决策树    ▪C#HTTP代理的实现之注册表实现
▪nosql和关系型数据库比较?    ▪如何快速比较这两个字符串是否相等?    ▪hdoj 1863 畅通工程 最小生成树---prime算法
 


站内导航:


特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

©2012-2015,169IT.COM,站长邮箱:www_169it_com#163.com(请将#改为@)

浙ICP备11055608号