Hadoop源码解读-解数独算法－－C++实现-s3c2410_gpio_setpin()与s3c2410_gpio_cfgpin()函数定义

当前位置: 编程技术>综合

本页文章导读:

▪Hadoop源码解读 Hadoop源代码分析（一）关键字: 分布式云计算完整文章及图，在我的资源里面，可以去下载。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们.........

▪解数独算法－－C++实现时间比较仓促，未优化。大牛看客，勿笑话。当然有好的建议，我洗耳恭听。若有时间再用MFC写一个界面。好了，废话不多说，代码如下： #include <iostream> using namespace std; //可选数字 int c.........

▪s3c2410_gpio_setpin()与s3c2410_gpio_cfgpin()函数定义 s3c2410_gpio_setpin()在gpio.c中作用:设置相应GPIO口的值，如pin=S3C2410_GPB5 to=0 则：设置S3C2410＿GPB5的输出值为0 如pin=S3C2410_GPB5 to=1 则：设置S3C2410＿GPB5的.........

[1]Hadoop源码解读

来源: 互联网发布时间: 2013-11-07

Hadoop源代码分析（一）

关键字: 分布式云计算

完整文章及图，在我的资源里面，可以去下载。
Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。
GoogleCluster： http://research.google.com/archive/googlecluster.html
Chubby：http://labs.google.com/papers/chubby.html
GFS：http://labs.google.com/papers/gfs.html
BigTable：http://labs.google.com/papers/bigtable.html
MapReduce：http://labs.google.com/papers/mapreduce.html
很快，Apache上就出现了一个类似的解决方案，目前它们都属于Apache的Hadoop项目，对应的分别是：
Chubby-->ZooKeeper
GFS-->HDFS
BigTable-->HBase
MapReduce-->Hadoop
目前，基于类似思想的Open Source项目还很多，如Facebook用于用户分析的Hive。
HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。

下图是MapReduce整个项目的顶层包图和他们的依赖关系。Hadoop包之间的依赖关系比较复杂，原因是HDFS提供了一个分布式文件系统，该系统提供API，可以屏蔽本地文件系统和分布式文件系统，甚至象Amazon S3这样的在线存储系统。这就造成了分布式文件系统的实现，或者是分布式文件系统的底层的实现，依赖于某些貌似高层的功能。功能的相互引用，造成了蜘蛛网型的依赖关系。一个典型的例子就是包conf，conf用于读取系统配置，它依赖于fs，主要是读取配置文件的时候，需要使用文件系统，而部分的文件系统的功能，在包fs中被抽象了。

Hadoop的关键部分集中于图中蓝色部分，这也是我们考察的重点。

· 大小: 78.3 KB

Hadoop源代码分析（二）

下面给出了Hadoop的包的功能分析。

Package

Dependences

tool

提供一些命令行工具，如DistCp，archive

mapreduce

Hadoop的Map/Reduce实现

filecache

提供HDFS文件的本地缓存，用于加快Map/Reduce的数据访问速度

文件系统的抽象，可以理解为支持多种文件系统实现的统一文件访问接口

hdfs

HDFS，Hadoop的分布式文件系统实现

ipc

一个简单的IPC的实现，依赖于io提供的编解码功能

参考：http://zhangyu8374.javaeye.com/blog/86306

表示层。将各种数据编码/解码，方便于在网络上传输

net

封装部分网络功能，如DNS，socket

security

用户和用户组信息

conf

系统的配置参数

metrics

系统统计数据的收集，属于网管范畴

util

工具类

record

根据DDL（数据描述语言）自动生成他们的编解码函数，目前可以提供C++和Java

http

基于Jetty的HTTP Servlet，用户通过浏览器可以观察文件系统的一些状态信息和日志

log

提供HTTP访问日志的HTTP Servlet

Hadoop源代码分析（三）

由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。

org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了Writable接口。实现了Writable接口的一个典型例子如下：

Java代码

1. public class MyWritable implements Writable {

2. // Some data

3. private int counter;

4. private long timestamp;

6. public void write(DataOutput out) throws IOException {

7. out.writeInt(counter);

8. out.writeLong(timestamp);

9. }

10.

11. public void readFields(DataInput in) throws IOException {

12. counter = in.readInt();

13. timestamp = in.readLong();

14. }

15.

16. public static MyWritable read(DataInput in) throws IOException {

17. MyWritable w = new MyWritable();

18. w.readFields(in);

19. return w;

20. }

21. }

public class MyWritable implements Writable {

// Some data

private int counter;

private long timestamp;

public void write(DataOutput out) throws IOException {

out.writeInt(counter);

out.writeLong(timestamp);

}

[2]解数独算法－－C++实现

来源: 互联网发布时间: 2013-11-07

时间比较仓促，未优化。大牛看客，勿笑话。当然有好的建议，我洗耳恭听。若有时间再用MFC写一个界面。

好了，废话不多说，代码如下：

#include <iostream>
using namespace std;
//可选数字
int candidate[] = {1,2,3,4,5,6,7,8,9};
//标记这个空格是否为原始数据
int g_a[9][9] = {0};
//打印函数
void print( int (*a)[9] )
{
for( int i = 0; i < 9; i++ )
{
  for( int j = 0; j < 9; j++ )
  {
   cout << a[i][j] << " ";
  }
  cout << endl;
}
cout << endl;
}
//判断可以放哪些数字
void ConfirmCandidate( int (*a)[9], int i, int j )
{
for( int i_candidate = 0; i_candidate < 9; i_candidate++ )
  candidate[i_candidate] = i_candidate+1;
for( int colm = 0; colm < 9; colm++ )
{
  if( a[i][colm] != 0 )
   candidate[a[i][colm]-1] = 0;
}
for( int line = 0; line < 9; line++ )
{
  if( a[line][j] != 0 )
   candidate[a[line][j]-1] = 0;
}
for( int line = i/3*3; line < i/3*3+3; line++ )
{
  for( int colm = j/3*3; colm < j/3*3+3; colm++ )
   if( a[line][colm] != 0 )
    candidate[a[line][colm]-1] = 0;
}
}
//标记每个空格位置
void TotalNumbers( int (*a)[9], int i, int j )
{
for( int line = 0; line < i; line++ )
{
  for( int colm = 0; colm < j; colm++ )
   if( a[line][colm] == 0 )
   {
    g_a[line][colm] = 1;
   }
}
}
//判断所填数字是否正确
bool JudgeValue( int (*a)[9],int i, int j )
{
//同一行有无重复数字
for( int colm = 0; colm < 9; colm++ )
{
  if( a[i][colm] == a[i][j] && j != colm )
   return false;
}
//同一列有无重复数字
for( int line = 0; line < 9; line++ )
{
  if( a[line][j] == a[i][j] && i != line )
   return false;
}
//一个3*3的方格内有无重复数字
for( int line = i/3*3; line < i/3*3+3; line++ )
{
  for( int colm = j/3*3; colm < j/3*3+3; colm++ )
   if( a[line][colm] == a[i][j] && i != line && j != colm )
    return false;
}
return true;
}
//判断是否成功
bool success( int(*a)[9], int i, int j )
{
if( i < 0 || j < 0 ) return false;
int line = i;
int colm = j;
for( ; line < 9; line++, colm = 0 )
{
  for( ; colm < 9; colm++ )
  {
   //cout << "line = " << line <<" colm = " << colm << endl;
   //if( colm == 8 && line == 8 ) return true;
   if( a[line][colm] != 0 && g_a[line][colm] == 0 ) continue;
   ConfirmCandidate(a, line, colm);
   for(int c = 0; c < 9; c++ )
   {
    if( candidate[c] > a[line][colm] )
    {
     a[line][colm] = candidate[c];
     /*
     *TEST
     *测试可选数字
     */
     /*
     for(int i = 0; i < 9; i++ )
      cout << candidate[i] << " ";
     cout << endl << endl;
     */
     //print(a);
     //判断放入的值是否正确
     bool bRet = JudgeValue( a, line, colm );
     if(!bRet)
     {
      //cout << "bRet is false" << endl;
     }
     else{
      //cout << "bRet is true" << endl;
      break;
     }
    }
    else if( c == 8 && candidate[c] <= a[line][colm] )
    {
     //cout << "line = " << line <<" colm = " << colm << endl;
     int set_colm = 8;
     a[line][colm] = 0;
     if( colm == 0 )
     {
      while( g_a[line-1][set_colm] == 0)
      {
       if( set_colm == 0)
       {
        line--;
        set_colm = 8;
       }
       else set_colm--;
      }
      return success( a, line - 1, set_colm);
     }
     else{
      while( g_a[line][colm-1] == 0)
      {
       if( set_colm == 0)
       {
        line--;
        set_colm = 8;
       }
       else colm--;
      }
      return success( a ,line, colm-1 );
     }
    }
   }
  }
}
return true;
}

int main()
{
//initialization
int a[9][9] = {
  {8,0,0,0,0,0,0,0,0},
  {0,0,3,6,0,0,0,0,0},
  {0,7,0,0,9,0,2,0,0},
  {0,5,0,0,0,7,0,0,0},
  {0,0,0,0,4,5,7,0,0},
  {0,0,7,1,0,0,0,3,0},
  {0,0,1,0,0,0,0,6,8},
  {0,0,8,5,0,0,0,1,0},
  {0,9,0,0,0,0,4,0,0}
};

//test
/*
int a[9][9] = {
  {8,0,0,0,0,0,0,0,0},
  {0,0,0,0,0,0,0,0,0},
  {0,0,0,0,0,0,0,0,0},
  {0,0,0,0,0,0,0,0,0},
  {0,0,0,0,0,0,0,0,0},
  {0,0,0,0,0,0,0,0,0},
  {0,0,0,0,0,0,0,6,8},
  {0,0,0,0,0,0,0,0,0},
  {0,0,0,0,0,0,0,0,0}
};
*/
TotalNumbers( a, 9, 9 );
success( a, 0, 0 );
print(a);
}

作者：heihei36 发表于2013-1-6 19:39:24 原文链接

阅读：0 评论：0 查看评论

[3]s3c2410_gpio_setpin()与s3c2410_gpio_cfgpin()函数定义

来源: 互联网发布时间: 2013-11-07

s3c2410_gpio_setpin()在gpio.c中

作用:设置相应GPIO口的值，
如pin=S3C2410_GPB5    to=0   则：设置S3C2410＿GPB5的输出值为0
如pin=S3C2410_GPB5    to=1 则：设置S3C2410＿GPB5的输出值为1

void s3c2410_gpio_setpin(unsigned int pin, unsigned int to)
{
    void __iomem *base = S3C2410_GPIO_BASE(pin);
    unsigned long offs = S3C2410_GPIO_OFFSET(pin);
    unsigned long flags;
    unsigned long dat;

    local_irq_save(flags);

    dat = __raw_readl(base + 0x04);
    dat &= ~(1 << offs);
    dat |= to << offs;
    __raw_writel(dat, base + 0x04);

    local_irq_restore(flags);
}

EXPORT_SYMBOL(s3c2410_gpio_setpin);

函数原型:s3c2410_gpio_cfgpin(unsigned int pin,unsigned int function)

位置:/linux-2.6.32.2/arch/arm/plat-s3c24xx/gpio.c

函数内容：

void s3c2410_gpio_cfgpin(unsigned int pin, unsigned int function)
{
void __iomem *base = S3C24XX_GPIO_BASE(pin);
unsigned long mask;
unsigned long con;
unsigned long flags;

if (pin < S3C2410_GPIO_BANKB) {
mask = 1 << S3C2410_GPIO_OFFSET(pin);
}

else {
mask = 3 << S3C2410_GPIO_OFFSET(pin)*2;
}

switch (function) {
case S3C2410_GPIO_LEAVE:
  mask = 0;
  function = 0;
  break;

case S3C2410_GPIO_INPUT:
case S3C2410_GPIO_OUTPUT:
case S3C2410_GPIO_SFN2:
case S3C2410_GPIO_SFN3:
  if (pin < S3C2410_GPIO_BANKB) {
   function -= 1;
   function &= 1;
   function <<= S3C2410_GPIO_OFFSET(pin);
  } else {
   function &= 3;
   function <<= S3C2410_GPIO_OFFSET(pin)*2;
  }
}

/* modify the specified register wwith IRQs off */

local_irq_save(flags);

con = __raw_readl(base + 0x00);
con &= ~mask;
con |= function;

__raw_writel(con, base + 0x00);

local_irq_restore(flags);
}

EXPORT_SYMBOL(s3c2410_gpio_cfgpin);

/***************************************************************************

首先确定一下各宏定义所在的位置和意义:

S3C24XX_GPIO_BASE(pin) -->

S3C2410_GPIO_OFFSET(pin)-->

S3C2410_GPIO_INPUT-->

S3C2410_GPIO_OUTPUT-->

S3C2410_GPIO_SFN2-->

S3C2410_GPIO_SFN3-->

以上宏都是在/linux2.6.32.2/arch/arm/mach-s3c2410/include/regs_gpio.h定义.

S3C2410_GPIO_BANKB-->

此宏的定义是在/linux-2.6.32.2/arch/arm/mach-s3c2410/include/mach/gpio-nrs.h中定义.

接下来，顺序解析程序:

#define S3c2410_GPIO_BASE(pin) ((((pin) & ~31) >>1) + S3C24XX_VA_GPIO)

S3C24XX_VA_GPIO在/linux-2.6.32.2/arch/arm/plat-s3c24xx/include/plat/map.h中是这样定义的:

S3C24XX_PA_GPIO在/linux-2.6.32.2/arch/arm/mach-s3c2410/include/mach/map.h中这样定义:

而S3C2410_PA_GPIO在/linux-2.6.32.2/arch/arm/plat-s3c24xx/include/plat/map.h中这样定义:

S3C24XX_PA_UART在中这样定义:

而S3C2410_PA_UART在/linux-2.6.32.2/arch/arm/plat-s3c24xx/include/plat/map.h中这样定义:

S3C24XX_VA_UART在linux-2.6.32.2/arch/arm/plat-s3c24xx/include/plat/map.h中这样定义:

而S3C_VA_UART在linux-2.6.32.2/arch/arm/plat-s3c/include/plat/map.h中这样定义：

由以上宏定义可以推出:

S3C24XX_VA_GPIO=((S3C24XX_PA_GPIO - S3C24XX_PA_UART) + S3C24XX_VA_UART)

=((0x56000000 - 0x50000000) + (0xF4000000 + 0x01000000))

= (0x06000000 + 0xF5000000)

= (0xFB000000)

这里假设设置GPB5引脚为输出:

s3c2410_gpio_cfgpin(S3C2410_GPB(5),S3C2410_GPB_OUTPUT);

首先S3C2410_GPB(_nr)在/linux-2.6.32.2/arch/arm/mach-s3c2410/include/mach/gpio-nrs.h中这样定义:

作者：taozi343805436 发表于2013-1-6 20:17:24 原文链接

阅读：0 评论：0 查看评论