CGI之C语言篇(1)
为什么要进行CGI编程?
在HTML中，当客户填写了表单，并按下了发送（submit）按钮后，表单的内容被发送到了服务器端，一般的，这时就需要有一个服务器端脚本来对表单的内容进行一些处理，或者是把它们保存起来，或者是按内容进行一些查询，或者是一些别的什么。没有了CGI，WEB的世界就完全失去了它的交互性，所有的信息都变成单向的了，而不能够有任何的反馈。
有的人认为可以用JavaScript来代替CGI程序，这其实是一个概念上的错误。JavaScript只能够在客户浏览器中运行，而CGI却是工作在服务器上的。他们所做的工作有一些交集，比如表单数据验证一类的，但是JavaScript是绝对无法取代CGI的。但可以这样说，如果一项工作即能够用JavaScript来做，又可以用CGI来做，那么绝对要使用JavaScript，在执行的速度上，JavaScript比CGI有着先天的优势。只有那些在客户端解决不了的问题，比如和某个远程数据库交互，这时就应该使用CGI了。
简单的说来，CGI是用来沟通HTML表单和服务器端程序的接口（interface）。说它是接口，也就是说CGI并不是一种语言，而是可以被其他语言所应用的一个规范集。理论上讲，你可以用任何的程序语言来编写CGI程序，只要在编程的时候符合CGI规范所定义的一些东西就可以了。由于C语言在平台无关性上表现不错（几乎在任何的系统平台下都有其相应编译器），而且对大多数程序员而言都算得上很熟悉（不像Perl），因此，C是CGI编程的首选语言之一。这儿我们介绍的，就
CGI之C语言篇(2)
文章出处： 发布时间：2005-04-22
如何使用C来编写CGI程序。
作为CGI编程的最为简单的例子，就是进行表单的处理。因而在这篇文章中，我们主要介绍的就是如何用C来编写CGI程序来进行表但处理。
GET表单的处理
对于那些使用了属性“METHOD=GET”的表单（或者没有METHOD属性，这时候GET是其缺省值），CGI定义为：当表单被发送到服务器断后，表单中的数据被保存在服务器上一个叫做QUERY_STRING的环境变量中。这种表单的处理相对简单，只要读取环境变量就可以了。这一点对不同的语言有不同的做法。在C语言中，你可以用库函数getenv（定义在标准库函数stdlib中）来把环境变量的值作为一个字符串来存取。你可以在取得了字符串中的数据后，运用一些小技巧进行类型的转换，这都是比较简单的了。在CGI程序中的标准输出（output）（比如在C中的stdout文件流）也是经过重定义了的。它并没有在服务器上产生任何的输出内容，而是被重定向到客户浏览器。这样，如果编写一个C的CGI程序的时候，把一个HTML文档输出到它的stdout上，这个HTML文档会被在客户端的浏览器中显示出来。这也是CGI程序的一个基本原理。
我们来看看具体的程序实现，下面是一段HTML表单：
< FORM ACTION="/cgi-bin/mult.cgi" >
< P >请在下面填入乘数和被乘数，按下确定后可以看到结果。
< INPUT NAME="m" SIZE="5" >
< INPUT NAME="n" SIZE="5" >< BR >
< INPUT TYPE="SUBMIT" VALUE="确定" >
< /FORM >
我们要实现的功能很简单，就是把表单中输入的数值乘起来，然后输出结果。其实这个功能完全可以用JavaScript来实现，但为了让程序尽量的简单易懂，我还是选择了这个小小的乘法来作为示例。
下面就是处理这个表单的CGI程序，对应于FORM标签中的ACTION属性值。
#include < stdio.h >
#include < stdlib.h >
int main(void)
{
char *data;
long m,n;
printf("%s%c%c ","Content-Type:text/html;charset=gb2312",13,10);
printf("< TITLE >乘法结果< /TITLE > ");
printf("< H3 >乘法结果< /H3 > ");
data = getenv("QUERY_STRING");
if(data == NULL)
printf("< P >错误！数据没有被输入或者数据传输有问题");
else if(sscanf(data,"m=%ld&n=%ld",&m,&n)!=2)
printf("< P >错误！输入数据非法。表单中输入的必须是数字。");
else
printf("< P >%ld和%ld的成绩是：%ld。",m,n,m*n);
return 0;
}
具体的C语法就不多讲了，我们来看看它作为CGI程序所特殊的地方。
前面已经提到标准输出的内容就是要被显示在浏览器中的内容。第一行的输出内容是必须的，也是一个CGI程序所特有的：printf("%s%c%c ","Content-Type:text/html",13,10)，这个输出是作为HTML的文件头。因为CGI不仅可以像浏览器输出HTML文本，而且可以输出图像，声音之类的东西。这一行告诉浏览器如何处理接受到的内容。在Content-Type的定义后面跟有两行的空行，这也是不可缺少的。因为所有CGI程序的头部输出都是相近的，因而可以为其定义一个函数，来节省编程的时间。这是CGI编程常用的一个技巧。
程序在后面调用了用了库函数getevn来得到QUERY_STRING的内容，然后使用sscanf函数把每个参数值取出来，要注意的是sscanf函数的用法。其他的就没有什么了，和一般的C程序没有区别。
把程序编译后，改名为mult.cgi放在/cgi-bin/目录下面，就可以被表单调用了。这样，一个处理GET方式表单的CGI程序就大功告成了。
POST表单处理
下面我们来考虑另外一种表单传送方法：POST。假设我们要实现的任务是这样的：把表单中客户输入的一段文本内容添加到服务器上的一个文本文件的后面。这可以看作是一个留言版程序的雏形。显然，这个工作是无法用JavaScript这种客户端脚本来实现，也算得上真正意义上的CGI程序了。
看起来这个问题和上面讲的内容很相近，仅仅是用不同的表单和不同的脚本（程序）而已。但实际上，这中间是有一些区别的。在上面的例子中，GET的处理方法可以看作是“纯查询（pure query）”类型的，也就是说，它与状态无关。同样的数据可以被提交任意的次数，而不会引起任何的问题（除了服务器的一些小小的开销）。但是现在的任务就不同了，至少它要改变一个文件的内容。因而，可以说它是与状态有关的。这也算是POST和GET的区别之一。而且，GET对于表单的长度是有限制的，而POST则不然，这也是在这个任务中选用POST方法的主要原因。但相对的，对GET的处理速度就要比POST快一些。
在CGI的定义中，对于POST类型的表单，其内容被送到CGI程序的标准输入（在C语言中是stdin），而被传送的长度被放在环境变量CONTENT_LENGTH中。因而我们要做的就是，在标准输入中读入CONTENT_LENGTH长度的字符串。从标准输出读入数据听起来似乎要比从环境变量中读数据来的要容易一些，其实则不然,有一些细节地方要注意，这在下面的程序中可以看到。特别要注意的一点就是：CGI程序和一般的程序有所不同，一般的程序在读完了一个文件流的内容之后，会得到一个EOF的标志。但在CGI程序的表单处理过程中，EOF是永远不会出现的，所以千万不要读多于CONTENT_LENGTH长度的字符，否这会有什么后果，谁也不知道（CGI规范中没有定义，一般根据服务器不同而有不同得处理方法）。
我们来看看到底如何从POST表单收集数据到CGI程序，下面給出了一個比较简单的C源代碼:
#include < stdio.h >
#include < stdlib.h >
#define MAXLEN 80
#define EXTRA 5
/* 4个字节留给字段的名字"data", 1个字节留给"=" */
#define MAXINPUT MAXLEN+EXTRA+2
/* 1个字节留给换行符，还有一个留给后面的NULL */
#define DATAFILE "../data/data.txt"
/* 要被添加数据的文件 */
void unencode(char *src, char *last, char *dest)
{
for(; src != last; src++, dest++)
if(*src == "+")
*dest = " ";
else if(*src == "%") {
用hdfs存储海量的视频数据
存储海量的视频数据，主要考虑两个因素：如何接收视频数据和如何存储视频数据。
我们要根据数据block在集群上的位置分配计算量，要充分利用带宽的优势。
１．接收视频数据
将从摄像头接收到的或通过模拟产生的视频流以文件的形式存储在本地文件夹，在这个过程中不产生任何中间文件。
２．海量视频数据存储
存储海量视频数据的思路：通过hadoop提供的api结构，实现将接收到的视频流文件从本地上传到hdfs中。
在这一过程中，把接收到的视频文件不断地存储到一个指定的本地文件夹中，而这个本地文件夹是在不断动态变换的，这时，将这个动态变化的文件夹当成是一个“缓冲区”，把“缓冲区”中的文件以流的形式与ＨＤＦＳ进行对接，接下来通过调用写方法来实现以流的方式将缓冲区中的文件上传到hdfs中。当文件上传成功后，再调用delete方法批量删除本地缓冲区中已经上传的文件。这一过程不断地循环，直到在缓冲区中的所有文件上传到hdfs，并且缓冲区文件全部清空为止。
import java.io.File;
import java.io.FileNotFoundException;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
public class Main {
/**
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception {
new Main().download("http://gdown.baidu.com/data/wisegame/a3d96bf8e8a5102c/baiduliulanqi_25.apk", 5);
}
public void download(String downPath, int threadNum) throws Exception{
URL url = new URL(/blog_article/downPath/index.html);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setConnectTimeout(5000);
conn.setRequestMethod("GET");
//InputStream in = conn.getInputStream();
if(conn.getResponseCode() == 200){
int size = conn.getContentLength();
File file = new File(downPath.substring(downPath.lastIndexOf("/")+1));
//"rwd" 会立刻把数据同步到设备上,防止手机没电数据丢失
RandomAccessFile raf = new RandomAccessFile(file, "rwd");
raf.setLength(size); //暂时还没数据
raf.close();
int block = size%threadNum == 0 ? size/threadNum : size/threadNum + 1;
for(int i=0; i<threadNum; i++){
new DownThread(i, block, url, file).start();
}
}else{
System.out.println("下载失败");
}
}
//下载线程类
private class DownThread extends Thread{
private int id;
private int block; //每个线程下载块大小
private URL url; //地址
private File file; //下载保存在哪个文件
public DownThread(int i, int block, URL url, File file) {
this.id = i;
this.block = block;
this.url = url;
this.file = file;
}
public void run(){
int start = id * block;
int end = (id+1) * block - 1;
try {
RandomAccessFile raf = new RandomAccessFile(file, "rwd");
raf.seek(start);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setConnectTimeout(5000);
conn.setRequestMethod("GET");
//通过头字段，指定获取文件的位置 bytes="1-1000"
conn.setRequestProperty("Range", "bytes=" + start + "-" + end);
//分段请求文件时，返回码是206
if(conn.getResponseCode() == 206){
byte[] buffer = new byte[1024];
InputStream in = conn.getInputStream();
int len = 0;
while( (len=in.read(buffer)) != -1){
raf.write(buffer, 0, len);
}
raf.close();
in.close();
System.out.println("线程:" + id + "下载完成");
}else{
System.out.println("失败");
}
} catch (Exception e) {
e.printStackTrace();
}
System.out.println("");
}
}
}