红叶青
甘艳丽 · 共 24 篇文章
hadoop任务调度详解
hadoop任务调度详解 任何作业的运行,首先得从用户端提交作业给jobTracker开始。 用户端: 用户程序通过job类的submit方法向jobTracker提交作业,job类使用jobClient类来做一系列工作. (1)向jobTracker申请作业ID号。 (2)检查作业的输出格式是否正确,比如作业的输出目录是否存在或已经存在,若输出格式不正确,会将错误信息返回给用户端的控制台。(实际我们也经常遇到这种错误,the directory already exists.) (3)检查输入目录是否存在。 (4)创建job.split,job.xml文件,将这些文件放在该job对应ID号…
2012-02-14 14:47 · 云计算 · 评论(0)
Map和Reduce的执行过程
Map和Reduce的执行过程 当要运行一个mapreduce应用程序时,可以分为一下几个步骤: 1.用户提交任务. 2.jobTracker:相当于namenode,来协调job的运行. 3.taskTracker:相当于datanode,运行此job的task,该taskTracker有两个线程:一个是,mapTask,一个是,reduceTask. 用户提交任务时,它会向jobTracker申请新的job ID,并且计算得到输入文件input splits的数目,也就是:输入文件可以被分成多少block,block默认大小是:64M. jobTracker会将此任务放入到队列中,然后j…
2012-02-08 10:26 · 云计算 · 评论(0)
云计算集群环境的搭建
前提条件: 1.首先要使得要配成集群环境的几台机器安装jdk 2.在每台机器上安装ssh 3.在每台机器上安装hadoop 在这个基础上,再来配置各机器之间的分布实现。 首先来说明一下:Linux系统下jdk的安装吧! 因为要配置成集群环境,所以每台机器的jdk软件包的版本必须一致,当然,hadoop的jar包的版本也必须一致,不然,会出现意想不到的错误,我们组在配置时就犯了这个错误,还必须注意:每台机器jdk和hadoop解压后的文件夹也必须放到统一的目录下:jdk解压后放在/usr/local/java,hadoop解压后是放在/usr/local/hadoop中。 大致分为一下几个步骤…
2012-02-05 10:37 · 云计算 · 评论(0)
哈希表
1.什么是哈希表? 哈希表又程散列表,它通过把关键码值(key,value)映射到表中的某个位置来进行查找记录的。映射其实就是将关键码的值通过一个函数计算出索引的位置,这个函数就叫哈希函数,哈希函数可以自己定义,最常用的就是求模运算,好的哈希函数可以提高这个算法的效率。 2.为什么要使用哈希表? 哈希表具备数组和链表的优点,通过哈希函数可以得到索引位置,所以,哈希表的查找效率很高,又因为哈希表是动态生成的,所以,它的空间消耗量不是很大,只是再需要扩充的时候,在分配内存。动态生成时,需要考虑两个因素:1.初始容量,2.装载因子。当放入的数据与容量之比大于装载因子时,这个时候,就需要扩充哈希表,…
2011-11-02 11:26 · 算法 · 评论(0)
Jpcap的安装与配置
1.到网上下载JPcap,下载地址是: http://netresearch.ics.uci.edu/kfujii/jpcap/doc/index.html 2.由于JPcap运行时依赖WinCap的类库,所以,也必须在本机下载安装WinCap,下载地址是: http://www.winpcap.org 3.配置JPcap的路径:把Jpcap文件夹下lib文件夹里的JPcap.dll文件复制到你机器JDK文件夹下jre下的bin目录中,(我机器上是:C:\Program Files\Java\jdk1.6.0_10\jre\bin下)然后把JPcap文件夹下lib文件夹里的jpcap.jar…
2011-09-25 00:28 · 网络通信 · 评论(0)
网络安全
网络安全 计算机网络虽然带给了我们方便,但同时,我们在使用网络时,是否注意过网络安全问题呢? 计算机网络面临的安全性威胁主要有以下四种情况:1.截获,2.中断,3.篡改,4.伪照。 1. 截获:是指攻击者从网络上获取他人的通信内容。 2. 中断:是指攻击者有意中断他人在网络上的通信。 3. 篡改:是指攻击者故意篡改网络上传送的报文。 4. 伪照:是指攻击者伪照信息在网络上传送。 同时,这四种威胁又可分为两大类:被动攻击和主动攻击。截获是属于被动攻击,后三种是属于主动攻击。 主动攻击又可进一步划分为三种: 1.更改报文流,也就是对应于以上的“篡改”,这包括对PDU的真实性,完整性和有序性的攻击…
2011-09-24 21:06 · 网络通信 · 评论(0)
数据库以及JSP页面乱码问题的处理
数据库中和JSP页面中中文显示乱码问题,纠结了我很久。令我兴奋的是,现在已经解决了。刚开始测试时,因为我是在MySQL那个黑框框里面中插入中文数据的,所以没有出现乱码。然而,当我用JSP页面去测试时,情况就不同了。我编写的JSP页面的功能很简单,当输入的用户名和密码都正确时,则将数据库中所以用户的信息用表格显示出来,反之,则提示出错信息。刚开始,我没测试向数据库中插入数据,而是用户名和密码登录,当我输入中文时,到数据库中查找时,查找成功了,但是显示到JSP页面上的信息却是乱码。当时,我觉得很奇怪,数据库中有该用户名,而且查找也成功了,为什么显示的却是乱码。然后,我就在向数据库中查询用户名和密…
2011-09-05 23:33 · 数据库 · 评论(0)
沫忆心V1.0版(通信项目)
沫忆心V1.o版终于在昨天竣工了。做这个项目之前,我们定的时间是8月20日,当时,还觉得时间很充分,应该可以完成,熟知后面一拖再拖,直到昨天。这件事中也可以反映一个人做事的态度,自己规划的事情却不能够按时完成。以后这一方面得加强了。闲话少说了,还是切入正题吧! 这个项目,我负责的是服务器端,我搭档(小心姐)负责的是客户端。这次合作我非常满意,比以前好多了,貌似我们两都慢慢的学会了接受别人与自己不同的意见,合作关系也比以前融洽,而且,讨论的也比较多。之前在定框架的时候,我老是弄不明白怎么样把各部分功能结合在一起,后面,在讨论的过程中,慢慢理清了整个程序的框架。框架定好之后,我们就开始协商服务器…
html页面表单向servlet提交中文数据乱码问题
之前我们解决servlet页面显示乱码的解决方案是:response.setContentType("text/html;charset=gbk");这样只能保证:你在servlet写的中文能够被显示,但是:如果是从html页面得到的中文数据呢?不知道大家有没有测试过? 我今天测试了下:当我在html登录界面输入学校的名字:湖南大学,servlet通过request对象,调用其getParameter("表单中组件的名字")来获得用户名,显示到界面上时却是乱码。后面想了下,我觉得可能是:request对象没有设置其字符编码:在此基础上:我添加了一行代码:request.setCharacte…
2011-08-20 18:37 · Web · 评论(0)
TCP连接-三次握手和四次断开
TCP连接——三次握手和四次断开 1.面向连接 TCP是一个面向连接的协议,面向连接是指任何一方向对方发送数据前必须先建立通道,比如像打电话一样:必须要等到对方的手机响铃,并且对方接听电话时,才能与对方通信。而UDP则不是面向连接的协议,基于UDP协议的通信双方不需要事先与对方协商建立连接,也不管对方的IP地址与端口号是否存在,就发送数据,这个处理方式有点像手机发短信,不管对方手机是否欠费或关机,我们就只管发送信息。 2.三次握手 首先看下示例图吧! <!--StartFragment --> <!--StartFragment --> <!--StartFragment --> <!--S…
2011-08-11 01:31 · 网络通信 · 评论(0)
try catch 和throws的分析
程序中碰到异常问题,我们到底是用try-catch还是用throws呢?到底什么时候用try-catch,什么时候用throws呢? 我的观点是:哪种处理方式对你程序更有利就用哪种!!! try-catch是用来处理别人抛出的exception的,当你觉得你有足够的能力以及足够的信息处理该方法中可能出现的异常时,就使用它。而当你觉得你没有能力处理时,你就要首先声明该方法可能出现异常,抛出异常,将该异常交给调用者处理,当调用者也没能力处理时,它又一层一层往上抛,直到主函数解决异常为止。我们需要明白的是:throws抛出的异常最终都是在try-catch中解决的。这样就感觉有点像:老板和打工仔的…
2011-08-09 17:30 · 网络通信 · 评论(0)
沉睡的人,你也该清醒了!
沉睡的人,你也该清醒了! 这几天感触颇深,趁着明天放假,好好记录下。 从培训到现在已经有几个月了,在这个过程中,通常是老师讲哪,我就做哪,从来没有过自己的想法,也从来没有想过我到底是为了什么学习?我到底要学些什么?(当然,我现在也没想清楚这些问题,不过,区别是我现在已经在思考这些问题了)特别搞笑的是:自己还认为这种状态蛮好,以为自己学到了很多知识。自从胡老师跟我们上过几次思想课之后,才发现自己以前是多么庸俗和可笑。觉得以前就像个机器人一样在那不停的敲着代码,从来没有思考过,还自鸣得意的以为自己干得是脑力活。其实现在想来,发现以前做的很多事情都带有一定的目的性而并非从自身的发展考虑的。比如说:…
2011-08-07 01:57 · 献给自己 · 评论(3)
网络通信初识
网络通信初识 1.通信必须在两方建立:服务器端和客户端。 执行这行代码:java.net.ServerSocket server=new java.net.ServerSocket(port);就可以创建一个服务器对象。port是服务器的端口,当服务器对象创建成功后,调用:server.accept()方法,等待客户机与之建立连接。该方法会阻塞,也就是:必须有客户端与之建立连接得到一个连接对象,才会执行下行代码,否则会一直等待客户机的连接。 Socket client=server.accept()建立好了连接。 2.InputStream ins=client.getInputStream…
2011-07-29 00:18 · 网络通信 · 评论(0)
文件压缩(哈弗曼编码)
哈弗曼文件压缩的基本原理: 1.统计要压缩文件中各字符出现的频率。采用哈弗曼压缩的前提是:待压缩的文件中各字符出现的频率相差甚远,这样才体现出哈弗曼压缩的优点。 该方法可以通过使用hashMap()来统计次数。 public static HashMap<Byte, Integer> count(String path) { HashMap<Byte, Integer> map = new HashMap<Byte, Integer>();// // 创建一个HashMap得对象,用来放数字以及该数字出现的次数 try { File f = new File(path); FileInput…
2011-07-24 01:13 · 评论(2)
链表的理解
1.什么是链表? 2.链表有哪些特点? 3.为什么要使用链表? 4.链表分为哪几种形式? 直观来说,项链,佛珠,手表都是链表的一种表现形式,链表就是一种由一系列结点构成的数据结构。 链表的特点:链表是由一系列结点构成,每个结点至少包含两个域(数据域和指向下个结点的引用类型),双向单链表和循环单链表还有个指向父节点的引用类型域。链表中的结点存放的物理地址是非连续的,链表是不定长的,它可以随时加入新的结点。 之前我们用数组实现过队列的方法,既然用数组可以实现,那为什么还要用链表去实现队列的方法呢?数组和链表到底有什么区别? 数组是定长的,数组有下标,这样使得数组查找比较方便,直接通过下标就可得到…
2011-05-31 23:20 · 评论(0)