ITeye博客

善良的java的博客

善良的java · 共 21 篇文章

spring security 11种过滤器介绍

1.HttpSessionContextIntegrationFilter 位于过滤器顶端,第一个起作用的过滤器。 用途一,在执行其他过滤器之前,率先判断用户的session中是否已经存在一个SecurityContext了。如果存在,就把SecurityContext拿出来,放到SecurityContextHolder中,供Spring Security的其他部分使用。如果不存在,就创建一个SecurityContext出来,还是放到SecurityContextHolder中,供Spring Security的其他部分使用。 用途二,在所有过滤器执行完毕后,清空SecurityCont…

2015-06-16 15:26 · spring security · 评论(0)

SpringSecurity使用记录(五)-- 配置

一直通过默认配置进行设置: namespace(是security 3.0,网上也看到一些兄弟描述的是3.0,但是总是不符合我这里的namespace配置): <beans:beans xmlns="http://www.springframework.org/schema/security" xmlns:beans="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.springfr…

2015-06-16 10:05 · spring security · 评论(0)

spring security 权限控制表达式

@PreAuthorize:该注解用来确定一个方法是否应该被执行。该注解后面跟着的是一个表达式,如果表达式的值为真,则该方法会被执行。 如 @PreAuthorize("hasRole('ROLE_USER')")就说明只有当前用户具有角色 ROLE_USER的时候才会执行。 @PostAuthorize:该注解用来在方法执行完之后进行访问控制检查。 @PostFilter:该注解用来对方法的返回结果进行过滤。从返回的集合中过滤掉表达式值为假的元素。 如@PostFilter("hasPermission(filterObject, 'read')")说明返回的结果中只保留当前用户有读权限的…

2015-06-16 09:49 · spring security · 评论(0)

spring-security use-expressions详解

使用 Spring 表达式语言配置访问控制 基于角色标准投票机制的标准实现是使用 RoleVoter ,还有一种替代方法可用来定义语法复杂的投票规则即使用 Spring 表达式语言( SpEL )。要实现这一功能的直接方式是在 配置元素上添加 use-expressions 属性: 添加后将要修改用来进行拦截器规则声明的 access 属性,改为 SpEL 表达式。 SpEL 允许使用特定的访问控制规则表达式语言。与简单的字符串如 ROLE_USER 不同,配置文件可以指明表达式语言触发方法调用、引用系统属性、计算机值等等。 SpEL 的语法与其他的表达式语言很类似,如在 Tapestry …

2015-06-16 09:49 · spring security · 评论(0)

spring security配置

auto-config = true 则使用from-login. 如果不使用该属性 则默认为http-basic(没有session). 相当于: lowercase-comparisons:表示URL比较前先转为小写。 access-denied-page:访问拒绝时转向的页面。 access-decision-manager-ref:指定了自定义的访问策略管理器。当系统角色名的前缀不是默认的ROLE_时,需要自定义访问策略管理器。 login-page:指定登录页面。 login-processing-url:指定了客户在登录页面中按下 Sign In 按钮时要访问的 URL。与登录页…

2015-06-16 09:48 · spring security · 评论(0)

Flume采集处理日志文件

1.source flume提供多种source供用户进行选择,尽可能多的满足大部分日志采集的需求,常用的source的类型包括avro、exec、netcat、spooling-directory和syslog等。具体的使用范围和配置方法详见source. 2.channel flume中的channel不如source和sink那么重要,但却是不可忽视的组成部分。常用的channel为memory-channel,同时也有其他类型的channel,如JDBC、file-channel、custom-channel等,详情见channel. 3.sink flume的sink也有很多种,常…

2015-06-07 21:51 · flume · 评论(0)

flume NG 配置及案例

Flume 的一些核心概念: |组件|功能 |Agent|使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。 |Client|生产数据,运行在一个独立的线程。 |Source|从Client收集数据,传递给Channel。 |Sink|从Channel收集数据,运行在一个独立线程。 |Channel|连接 sources 和 sinks ,这个有点像一个队列。 |Events|可以是日志记录、 avro 对象等。 a1.sinkgroups.g1.processor.type = LOAD_BALANCE 负载均衡 a1.s…

2015-06-07 16:20 · flume · 评论(0)

hadoop2.X安装遇到的问题

1.zookeeper无法启动错误。 可能是由于没有关闭防火墙 2.格式化ZK时 hdfs zkfc –formatZK 无法格式化 原因 复制的命令无法正常执行,手敲的就可以 3.nodemanager无法启动 修改 /etc/hosts 文件 把里面的 127.0.0.1 hadoop

2015-04-01 22:26 · hadoop · 评论(0)

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper: |组件| 节点| 默认端口| 配置| 用途说明| |HDFS| DataNode|50010|dfs.datanode.address|datanode服务端口,用于数据传输| |HDFS| DataNode|50075| dfs.datanode.http.address| htt…

2015-03-29 12:40 · hadoop · 评论(0)

基于ZooKeeper的配置信息同步方案

整体的设计方案如图: 整个配置信息存储方案由三部分组成:ZooKeeper服务器集群、配置管理程序、分布式应用程序。 ZooKeeper服务器集群存储配置信息,在服务器上创建一个保存数据的节点(创建节点操作);配置管理程序提供一个配置管理的UI界面或者命令行方式,用户通过配置界面修改ZooKeeper服务器节点上配置信息(设置节点数据操作);分布式应用连接到ZooKeeper集群上(创建ZooKeeper客户端操作),监听配置信息的变化(使用获取节点数据操作,并注册一个watcher)。 当配置信息发生变化时,分布式应用会更新程序中使用配置信息。 优点 借助 ZooKeeper我们实现的配置…

2015-03-12 00:39 · zookeeper · 评论(0)

shell 特殊命令

awk命令 作用: 在输出信息中提取相关内容 awk -F 域分隔符‘命令’ 示例: 1.检测系统中UID为0的用户 awk -F: '$3==0 {print $1}' /etc/passwd 2.检测系统中密码为空的用户 awk -F: 'length($2)==0{print $1}' /etc/shadow shift命令 对于某个命令行参数,其参数个数可以不固定,但是可以通过$*或$@进行循环操作。若用户要求Shell在不知道变量个数的情况下,还能逐个处理参数,也就是在$1之后是$2,$2之后是$3。在未运行shift命令之前$1是可用的,当使用shift命令之后,原来的$2会变成…

2015-03-12 00:24 · shell · 评论(0)

shell的变量测试语句

test str1=str2 测试是否相等 test str1!=str2 是否不相等 test str1 是否不为空 test -n str1 是否不为空 test -z str1 是否为空 文件测试: test -d file 是否目录 test -f file 是否常规文件 test -x file 是否可执行 test -r file 是否可读 test -w file 是否可写 test -a file 是否存在 test -s file 文件大小是否非0 多个条件的联合: -a: 逻辑与 -o: 逻辑或 整数测试: test int1 -eq int2 是否相等 test int…

2015-03-12 00:22 · shell · 评论(0)

hbase shell命令的使用

再使用hbase 命令之前先检查一下hbase是否运行正常 hadoop@Master:/usr/hbase/bin$ jps 2640 HMaster 27170 NameNode 27533 SecondaryNameNode 3038 Jps 27795 TaskTracker 27351 DataNode 2574 HQuorumPeer 27618 JobTracker 2872 HRegionServer 如果运行不正常的话,关闭hbase后重新启动一下 stop-hbase.sh start-hbase.sh 1. status命令 hbase(main):008:0> sta…

2014-06-09 19:13 · hbase · 评论(0)

HBase的安装

本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式。 安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配。 我将要安装的hbase是hbase-0.94.11版本,需要的hadoop是hadoop-1.2.1版本。 hbase下载地址:http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/ 将下载的hbase-0.94.11解压到相应的目录,如/usr/hbase-0.94.11 将hbase-0.90.4重命名为hbase mv hbase-0.94.11 hbase 首先需要将hba…

2014-06-09 17:28 · hbase · 评论(0)

Hadoop中Mapper类的setup()函数在什么地方调用

经过跟踪hadoop源码发现,Mapper类的setup()函数在Mapper类的run()函数中被调用。 向hadoop提交job后,hadoop会在MapTask的runNewMapper()或者runOldMapper()函数中使用反馈机制实例化具体的Mapper子类,然后调用这个对象的run()函数,其中setup()函数就在这个函数的开始被调用,因为hadoop会向setup()函数中传递Configuration等一些变量,所以我们可以通过重载setup()函数来获得系统变量实现自己的功能。 /** * Expert users can override this method …

2014-06-05 21:27 · hadoop · 评论(0)