Linux进程间通信(上)之管道、消息队列实践

Qt 进程守护程序(windows、linux) 进程守护其实就是使用一个进程去定时查询另外一个被守护的进程是否存在,不存在则需要启动该进程。代码如下,运行时,首先需要获取被守护的进程APP,使用读取配置文件的方式,如果配置文件不存在(首次启动该代码),则需要选择被守护的进程,然后将选择的APP路劲存入配置文件,供下次启动读取使用。processCount函数用于查询系统所有运行的进程中该进程运行的数量,比如启动了5个A进程,该函数查询返回的结果就为5。这里我们称调用popen的进程为父进程,由popen启动的进程称为子进程。一、windows环境下。 阅读详情

1、进程间通信简述

进程间通信的几种方式:无名管道、有名管道、消息队列、共享内存、信号、信号量、套接字(socket)。

进程间通信是不同进程直接进行的一些接触,这种接触有简单,有复杂。机制不同,复杂度也不同。通信是一个广义上的意 义,不仅指大批量数据传送,还包括控制信息的传送,但是使用的方法都是大同小异的。

如图所示进程不是孤立的,不同的进程需要进行信息的交互和状态的传递等,因此需要进程间通信。

2、管道

管道分为无名管道和有名管道两种方式。管道是一种半双工的通信方式,数据只能单向流动,但是无名管道和有名管道的区别是无名管道只能在具有亲缘关系的进程间通信,有名管道则是在无亲缘关系进程间通信。进程的亲缘关系通常是指父子进程关系。管道是Linux支持的最初Unix IPC形式之一,管道与管道之间通信其实就是一个文件,但它不是一个普通的文件,它不属于某种文件系统,而是自立门户,单独构成一种文件系统而且只存在内存中。当一个进程向管道中写的内容被管道另一端的进程读出;写入的内容每次都会被添加到管道缓冲区的末尾,并且每次都是从缓冲区的头部读出数据。如下图所示。

那么,如何创建一条管道呢?下面,我们就来了解下FIFO函数。

FIFO不同于pipe函数,因为它提供了一个路径名与之关联,以FIFO的文件形式存在于文件系统中,这样,即使与FIFO的创建进程不存在亲缘关系的进程,只要可以访问该路径就能够彼此通过FIFO互相通信,因此,通过FIFO不相关的进程也能交换数据。值得注意的是,FIFO严格遵循先进后出,和栈的原则一样,对管道以及FIFO的读总是从开始处返回数据,对它们的写则把数据添加到末尾。它们不支持诸如lseek()等文件定位操作。

需要包含的头文件如下:

#include<sys/types.h>
#include<sys/stat.h>
#incldue<fcntl.h>
#include<unistd.h>

FIFO函数创建:

函数原型:

int mkfifo(const char *pathname,mode_t mode);

函数返回值 :

成功0,失败-1

参数含义:

pathname为路径名,创建管道的名字(该函数的第一个参数是一个普通的路径名,也就是创建后FIFO的名字)。mode为创建fifo的权限(第二个参数与打开普通文件的open()函数中的mode参数相同)。

注:如果mkfido的第一个参数已经是一个已经存在的路径名时,就会返回EEXIST错误,所以当我们调用的时候首先会检查是否返回该错误,如果返回该错误那我们只需要直接调用打开FIFO的函数即可。

FIFO比pipe函数打开的时候多了一个打开操作open;如果当时打开操作时为读而打开FIFO时,若已经有相应进程为写而打开该FIFO,则当前打开操作将返回成功;否则,可能阻塞到有相应进程为写而打开该FIFO;或者,成功返回。另一种情况就是为写而打开FIFO时,若已经有相应进程为读而打开该FIFO,则当前打开操作将成功返回;否则可能会阻塞直到有相应进程为读而打开该FIFO;或者,返回ENIO错误。

下面我们使用FIFO实现进程间的通信。

(1)打开一个文件,管道的写入端向文件写入数据;管道的读取端从文件中读取出数据。

fifo_write.c

#include <stdio.h>
#include <string.h>
#include<sys/types.h>
#include<sys/stat.h>
#include <fcntl.h>
#include <unistd.h>

#define P_FIFO  "txt"

int main()
{
    int fd;
    //要写入有名管道的数据
    char buf[20] = "hello write_fifo";
    int ret=0;
    //创建有名管道,并赋予访问有名管道的权限
    ret = mkfifo(P_FIFO,0777);
    //创建失败
    if(ret < 0)
    {
        printf("create named pipe failed.\n");
        return -1;
    }
    fd = open(P_FIFO,O_WRONLY);
    if(fd < 0)
    {
        printf("open failed.\n");
        return -2;
    }
    //写入数据到有名管道
    //第一个参数为有名管道文件描述符
    //第二个参数为写入有名管道的数据
    //第三个参数为写入有名管道的数据长度
    write(fd,buf,sizeof(buf));
    //关闭有名管道
    close(fd);
    return 0;
}

fifo_read.c

#include <stdio.h>
#include <string.h>
#include<sys/types.h>
#include<sys/stat.h>
#include <fcntl.h>
#include <unistd.h>

#define P_FIFO  "txt"

int main()
{
    int ret;
    int fd;
    char buf[20];
    //打开有名管道
    //第一个参数为有名管道文件路径
    //第二个参数表明是以读取方式并以非阻塞方式打开有名管道
    //O_RDONLY读取模式
    //O_NONBLOCK非阻塞方式
    fd = open(P_FIFO,O_RDONLY);
    if(fd<0)
    {
        printf("open fail\n");
        return -1 ;
    }
    //循环读取有名管道
    while(1)
    {
        memset(buf,0,sizeof(buf));
        if(read(fd,buf,sizeof(buf)) == 0)
        {
            printf("nodata.\n");
        }
        else
        {
            printf("getdata:%s\n",buf);
            break;
        }
   }
   close(fd);
   return 0;
}

下面先将fifo_write.c和fifo_read.c分别编译成fifo_write和fifo_read两个可执行程序:

接下来,先运行fifo_write,然后打开另一个终端,接着运行fifo_read,运行fifo_write的时候,可以看到程序阻塞在终端:

下面打开另外一个终端运行fifo_read

切换到另外一个终端,在终端输入ls –l可以看到由于fifo_write中创建了管道文件txt,从前面的字串prwxr-xr-x中的p可以知道,这是一个管道文件,如下图所示:

运行fifo_read,这时候,可以看到从管道中获取的字符串hello write_fifo,如下图所示:

管道读取结束后,fifo_write这个程序也就不会在阻塞在终端了,如下图所示:

写管道程序还要注意,一旦我们创建了FIFO,就可以用open去打开它,可以使用open、read、close等去操作FIFO和pipe有相同之处,当打开FIFO时,非阻塞标志(O_NONBLOCK)将会对读写产生如下影响:

  • 1、没有使用O_NONBLOCK:访问要求无法满足时进程将阻塞。如试图读取空的FIFO,将导致进程阻塞;

  • 2、使用O_NONBLOCK:访问要求无法满足时不阻塞,立即出错返回,errno是ENXIO。

3、消息队列

消息队列(也叫做报文队列)提供了一个进程向另一个进程发送一个数据块的方法。每个数据块都被认为含有一个类型,接收进程可以独立地接收含有不同类型的数据结构。我们可以通过发送消息来避免命名管道的同步和阻塞问题。但是消息队列与命名管道一样,每个数据块都有一个最大长度的限制。

打开或者创建消息队列的内核持续性要求每个消息队列都在系统范围内对应唯一的键值,所以,要获得一个消息队列的描述字,只需要提供该消息队列的键值即可。

消息读写操作非常简单,对于开发人员来说,每个消息都类似如下的数据结构:

struct msgbuf
{
 long mtype;
 char mtext[1];
};

3.1、msgget函数

该函数用来创建或者访问一个消息队列。

int msgget(key_t key, int msgflg);

与其他的IPC机制一样,程序必须提供一个键来命名某个特定的消息队列。msgflg是一个权限标志,表示消息队列的访问权限,它与文件的访问权限一样。msgflg可以与IPC_CREAT做或操作,表示当key所命名的消息队列不存在时创建一个消息队列,如果key所命名的消息队列存在时,IPC_CREAT标志会被忽略,成功则返回一个以key命名的消息队列的标识符(非零整数),失败时返回-1。

3.2、msgsnd函数

该函数用来向消息队列发送一个消息。

int msgsnd(int msqid, const void *msgp, size_t msgsz, int msgflg);

将发送的消息存储在msgp指向的msgbuf结构中,消息大小由msgsz指定。对发送的消息来说,有意义的msgflg标准为IPC_NOWAIT,指明在消息队列没有足够的空间容纳要发送的消息时,msgsnd是否等待。造成msgsnd()等待的条件有两种:当前消息的大小与当前消息队列中的字节数之和超过了消息队列的总容量;当前消息队列的消息数不小于消息队列的总容量,此时,虽然消息队列中的消息数目并不多,但基本上都只有一个字节。调用成功的时候返回0,失败返回-1.

3.3、msgrcv函数

该函数用来从一个消息队列获取消息。

int msgrcv(int msqid, void *msgp, size_t msgsz, long msgtyp, int msgflg);

msgrcv函数前面三个参数和msgsnd函数的三个参数一样不做讲解。msgtype可以实现一种简单的接收优先级。如果msgtype为0,就获取队列中的第一个消息。如果它的值大于零,将获取具有相同消息类型的第一个信息。如果它小于零,就获取类型等于或小于msgtype的绝对值的第一个消息。msgflg用于控制当队列中没有相应类型的消息可以接收时将发生的事情。当调用成功时,该函数返回放到接收缓存区中的字节数,消息被复制到由msg_ptr指向的用户分配的缓存区中,然后删除消息队列中对应的消息;失败则返回-1.

3.4、msgctl函数

该函数用来控制消息队列。

int msgctl(int msgid, int command, struct msgid_ds *buf);

该系统调用对由msqid标识的消息队列执行cmd操作,共有三种cmd操作:

  • IPC_STAT:把msgid_ds结构中的数据设置为消息队列的当前关联值,即用消息队列的当前关联值覆盖msgid_ds的值。

  • IPC_SET:如果进程有足够的权限,就把消息列队的当前关联值设置为msgid_ds结构中给出的值。

  • IPC_RMID:删除消息队列。buf是指向msgid_ds结构的指针,它指向消息队列模式和访问权限的结构。成功返回0,否则返回-1。

通过上面的函数我们清楚如何去创建一个消息队列那我们简单的来看一个案例。

(1)创建一条消息队列msg_get.c

#include <stdio.h>
#include <sys/ipc.h>
#include <sys/msg.h>

int main(void)
{
 int  msgid ; 
 //创建消息队列,注意,创建后面要有IPC_CREAT标志
 msgid = msgget(0x123456 , IPC_CREAT | 0777);
 if(msgid < 0)
 {
  perror("msgget fail");
  return -1 ; 
 }
 printf("success ... ! \n");
 return 0  ;
}

运行结果:

那消息队列呢?怎么查看?使用ipcs –q命令可以查看到刚刚我们创建的消息队列0x123456。

(2)向消息队列发送消息 msgsend.c

#include <stdio.h>
#include <string.h>
#include <sys/ipc.h>
#include <sys/msg.h>

int main(void)
{
    int msgid ;
    msgid = msgget(0x123456 , 0);
    if(msgid == -1)
    {
        perror("create msg queue fail");
        return -1 ;
    }
    printf("open msg success ... \n");
    int ret ;
    char *p = "hello world" ;
   //发送hello world到消息队列0x123456
   //在这里可以直接发送
    ret = msgsnd(msgid , p , strlen(p) , 0);
    if(ret == -1)
    {
        perror("send msgid fail");
        return -2 ;
    }
    return 0 ;
}

运行结果:

使用ipcs –p命令查看:

(3)获取消息队列中的信息 msgrecv.c 在上面msgsend.c的基础上,这个例程将上面发送到消息队列的信息读取回来。

#include <stdio.h>
#include <string.h>
#include <sys/ipc.h>
#include <sys/msg.h>

int main(void)
{
    int msgid ;
    msgid = msgget(0x123456 , 0);
    if(msgid == -1)
    {
        perror("create msg queue fail");
        return -1 ;
    }
    printf("open msg success ... \n");
    int ret ;
    char buffer[1024] = {0};
    //接收消息队列中的信息
    ret = msgrcv(msgid , buffer , 11 , 0 , 0);
    if(ret == -1)
    {
        perror("recv msgid fail");
        return -2 ;
    }
    printf("ret: %d  buffer:%s \n" , ret , buffer);
    return 0 ;
}

运行结果,如图所示:

那么,如何删除一个消息队列呢?先用ipcs –q查看消息队列,如图所示:

有两种方法:

  • 1、使用命令ipcrm –q msqid 删除消息队列,如图所示

  • 2、使用msgctl函数,写IPC_RMID标志删除消息队列

(4)删除消息队列 msgrm.c

#include <stdio.h>
#include <sys/ipc.h>
#include <sys/msg.h>

int main(void)
{
    int  msgid ;
    msgid = msgget(0x123456 , 0);
    if(msgid < 0)
    {
        perror("msgget fail");
        return -1 ;
    }
    printf("success ... ! msgid:%d \n" , msgid);
    //写IPC_RMID标志
    if(msgctl(msgid , IPC_RMID , NULL) == 0)
    {
        printf("remove success ... \n");
    }
    return 0  ;
}

运行结果,如图所示:

使用系统提供的API的方式,可以将消息队列删除。消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点,相对于管道通信有很大的改观,而且消息队列对数据的顺序处理也是非常有条理性的不会产生混杂性。

往期精彩

Linux 进程必知必会

【Linux系统编程】IO标准缓冲区

【Linux系统编程】可重入和不可重入函数

韦东山:6000字长文告诉你如何学习linux

会C/C++就可以开发Linux/Android应用程序?Yoxios了解一下!

觉得本次分享的文章对您有帮助,随手点[在看]并转发分享,也是对我的支持。

Linux 进程间通信 Linux进程通信继承了传统的UNIX进程间通信方式,包括无名管道、有名管道以及信号;还有System V进程间通信(IPC),包括System V消息队列、System V信号量以及System V共享内存;套接字。 阅读详情

相关推荐

嵌入式LINUX进程间通信详解

学习过Linux相关知识,大家应该知道进程时一个程序的一次执行,时系统资源分配的最小单元。一般所说的进程是用户态的进程,而由于处于不同用户态的不同进程是彼此隔离的,就好比处于不同国家的人们,必须要通过某种方式来进行通信,例如人们现在广泛使用的手机等方式。本文将讲述如何建立这些不同的通信方式;Linux下的进程通信手段基本是从UNIX平台上的进程通信手段继承而来。而对UNIX发展做出重大贡献的两大主力AT&T的贝尔实验室及BSD(加州大学伯克利分校的伯克利软件发布中心)在进程间的通信方面的侧重点有所不同。

weixin_40642038的博客 1973

进程间通信方式(管道、消息队列、内存映射区、共享内存等)

进程间通信 (Inter-Process Communication, 简写为 IPC) 是两个进程之间进行信息交流的一种机制, 不仅仅会发生在同一主机的两个进程之间, 也可以发生在不同主机的两个进程之间,。 在一台主机上,每个进程的用户地址空间都是独立的,一般而言是不能互相访问的,但内核空间是每个进程都共享的,所以进程之间要通信必须通过内核。Linux内核提供了很多通信方式:管道、消息队列、内存映射区、共享内存、套接字。套接字主要应用于跨网络不同主机间的通信(也可以同一主机)。 1、管道与消息队列

JACKSONMHLK的博客 1557

深入解析WIFI与蓝牙模块电路设计:从原理到实战

本文深入解析了WIFI与蓝牙模块的电路设计,从核心原理到实战应用。文章以AP6256模块为例,详细拆解了电源树、时钟电路、接口设计及天线射频路径等关键环节,并提供了PCB布局布线的实用准则与调试方法,旨在帮助硬件工程师设计出稳定可靠的无线产品,规避常见陷阱。

weixin_29186249的博客 152

linux tlhelp32.h,CreateToolhelp32Snapshot

CreateToolhelp32Snapshot函数为指定的进程、进程使用的堆[HEAP]、模块[MODULE]、线程[THREAD])建立一个快照[snapshot]。HANDLE WINAPI CreateToolhelp32Snapshot(DWORD dwFlags,DWORD th32ProcessID);参数:dwFlags[输入]指定快照中包含的系统内容,这个参数能够使用下列数值(变...

weixin_34061793的博客 495

平衡电桥检测高压绝缘电阻的原理

检测绝缘漏电的高压拓扑如下:BMU需要连接BAT+,BAT-和PE线,并测量电池总压(Ubatt)和负母线电压(Un),并计算出正母线电压(Up)。

booksyhay的专栏 1万+

HTML5期末大作业:水果超市网站设计——水果超市(6页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 网购商城设置网页

HTML5期末大作业:水果超市网站设计——水果超市(6页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 网购商城设置网页 常见网页设计作业题材有 个人、 美食、 公司、 学校、 旅游、 电商、 宠物、 电器、 茶叶、 家居、 酒店、 舞蹈、 动漫、 明星、 服装、 体育、 化妆品、 物流、 环保、 书籍、 婚纱、 军事、 游戏、 节日、 戒烟、 电影、 摄影、 文化、 家乡、 鲜花、 礼品、 汽车、 其他 等网页设计题目, A+水平作业, 可满足大

1718

Linux进程通信之消息队列

Linux 消息队列

m0_60010936的博客 4337

DRAM内存模拟持久化设备的方法

由于持久化内存介质NVM技术的发展,越来越多的科研工作者投身到NVM相关的研究当中。但由于目前工业界并没有推出广泛使用的NVM介质设备,所以科研工作都需要自己以现有的条件,模拟NVM设备使用场景。一个简单的方法是:通过修改DRAM模拟器,达到模拟NVM的目的(可以参考:DRAMSim2模拟器分析与应用)。更高端的方式是:在真实系统中,将内存划分出一块儿,用来模拟NVM设备(类似于传统的ramdis

酷炫人笨笨熊 1901

Linux--消息队列

消息队列的创建和读取相关注意事项和源代码及其执行结果。

m0_59052131的博客 1903

3D Slicer中文教程(三)—数据加载及保存方式

1.打开数据与保存数据 (1)打开数据 ——可以将数据拖拽到3D Slicer应用窗口或者从菜单栏工具栏打开。 ——多种方式加载大量数据。 有关DICOM数据,请参阅DICOM模块文档。 对于几乎所有其他(包括场景),您可以使用添加数据对话框。 有关支持的数据格式的列表,请参阅此列表。 请注意,仅部分支持列出的某些格式。 ——对于一些更复杂的格式(特别是DWI),建议首先使用DICOM到n...

weixin_33676492的博客 5541

Materials Studio实战技巧(八)——利用片段库高效构建有机金属配合物

本文详细介绍了在Materials Studio中利用Fragment Browser(片段浏览器)高效构建有机金属配合物的实战技巧。通过调用预置的Metal Templates和Ligands库,用户可以快速搭建如茂金属催化剂等复杂分子骨架,并利用对称性操作精确控制Meso与Rac构型。文章还涵盖了自定义片段库的创建与使用,能显著提升建模效率,适用于计算化学与材料模拟领域的研究者。

wine的专栏 938

linux msgsend 头文件,Linux进程间通信之管道、消息队列实践

1、进程间通信简述进程间通信的几种方式:无名管道、有名管道、消息队列、共享内存、信号、信号量、套接字(socket)。进程间通信是不同进程直接进行的一些接触,这种接触有简单,有复杂。机制不同,复杂度也不同。通信是一个广义上的意 义,不仅指大批量数据传送,还包括控制信息的传送,但是使用的方法都是大同小异的。如图所示进程不是孤立的,不同的进程需要进行信息的交互和状态的传递等,因此需要进程间通信。2、管...

weixin_42476061的博客 616

ESP32与BH1750光照传感器结合使用的Web服务器案例

请注意,为了使代码正常工作,你需要将代码中的"你的WiFi网络名称"和"你的WiFi网络密码"替换为你自己的WiFi网络凭据。在代码中,我们首先导入了所需的库文件,包括Wire库用于I2C通信,BH1750库用于与光照传感器通信,WiFi库和WebServer库用于创建Web服务器。接下来,我们将编写一个Arduino代码来控制ESP32与BH1750的通信,并将读取到的光照强度值显示在Web服务器上。函数用于处理根路径的请求,其中我们读取光照传感器的值,并将其显示在返回的HTML页面中。

server_api196的博客 619

Linux系统学习【进程间通信、管道、匿名管道、以及命名管道、system V共享内存、消息队列以及信号量的原理解析与实践应用】

本文系统介绍了Linux系统中的进程间通信(IPC)机制,重点分析了管道、共享内存、消息队列和信号量等核心IPC方式。文章从进程隔离与通信需求切入,阐述了IPC在数据传输、事件通知和进程同步中的关键作用。通过对比不同IPC机制的特点与适用场景,帮助开发者根据业务需求选择合适的通信方案。文中结合实践示例,详细讲解了匿名管道、命名管道、System V IPC的系统调用接口和编程方法,并强调了资源释放的重要性。学习这些IPC技术将为并发编程、网络服务和分布式系统开发奠定基础。

承于所学,探技术之渊;以代码求政,寻成长之道。 1万+

095、PCIE物理层测试模式:从信号眼图到误码率实战

本文介绍了PCIe物理层测试模式的调试方法和实战经验。重点解析了环回测试、合规性测试和静默模式的应用场景及配置要点,分享了信号眼图分析、误码率测试和接收端验证的实用技巧。作者结合自身调试经历,强调物理层测试对排查信号完整性问题的重要性,建议在量产前进行基础测试,并提醒注意芯片勘误和测试模式切换等易错点。通过合理使用测试模式,可显著提高PCIe链路调试效率,确保物理层稳定可靠。

z534437748的博客 62

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

c 读bmp 为像素队列_Linux进程间通信(上)之管道、消息队列实践

1、进程间通信简述进程间通信的几种方式:无名管道、有名管道、消息队列、共享内存、信号、信号量、套接字(socket)。进程间通信是不同进程直接进行的一些接触,这种接触有简单,有复杂。机制不同,复杂度也不同。通信是一个广义上的意 义,不仅指大批量数据传送,还包括控制信息的传送,但是使用的方法都是大同小异的。如图所示进程不是孤立的,不同的进程需要进行信息的交互和状态的传递等,因此需要进程间通...

weixin_26808205的博客 110

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

c++ createtoolhelp32snapshot取进程路径_Linux进程间通信(上)之管道、消息队列实践

1、进程间通信简述进程间通信的几种方式:无名管道、有名管道、消息队列、共享内存、信号、信号量、套接字(socket)。进程间通信是不同进程直接进行的一些接触,这种接触有简单,有复杂。机制不同,复杂度也不同。通信是一个广义上的意 义,不仅指大批量数据传送,还包括控制信息的传送,但是使用的方法都是大同小异的。如图所示进程不是孤立的,不同的进程需要进行信息的交互和状态的传递等,因此需要进程间通...

weixin_39588419的博客 131

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

深入解析Linux进程间通信(IPC):机制、应用与最佳实践

从管道到eBPF,Linux IPC的演进史正是一部计算机系统设计哲学的发展史。选择何种通信方式,本质上是在数据一致性性能需求和系统复杂度之间寻找平衡点。理解每种机制背后的设计取舍,方能打造出优雅高效的系统架构。

2301_76794365的博客 643

Linux进程间通信

Linux进程间通信 一、概述 我们知道,每个进程创建时有自己独立的4GB空间,有自己的代码段、数据段、堆栈等资源。很多时候,不同的进程间需要交换数据,即相互通信。那么又该通过哪些机子来进行进程间的通信呢?下面我们来一起来看看进程间通信的一些机制。 Linux平台的进程间通信是从Unix平台继承而来,同时也继承了不同流派的一些进程间通信的优点,这样就形成了Linux自己的进程间通信的方式。如下图所示: 二、进程间通信方式 现在Linux中应用比较广泛的进程间通信方式主要有一下几种 无名管道(pipe)及

wit_732的博客 697

linux -- 进程间通信(管道)

管道 匿名管道 pipe()函数的参数pipefd是一个数组,当在程序中使用pipe()创建管道时,程序可以通过传参的方式获取两个文件描述符,分别交给需要通信的两个进程,内核再将这两个进程中文件描述符对应file结构中的inode指向同一个临时的VFS索引结点,并使这个索引结点指向同一个物理页面。管道实现机制如图8-2所示。 案例1:使用pipe()实现父子进程间通信,要求父进程作为写端,子进程作为读端。 #include <stdio.h> #include <std.

Half-up的博客 1348

深度解析Linux进程间通信(IPC):原理、场景与实践优化

本文以Linux进程间通信(IPC)为核心,围绕设计的技术面试题展开,系统解析了匿名管道、命名管道、System V消息队列、共享内存、信号量及本地Socket等常见IPC方式的实现原理、核心特点与适用场景。结合带详细注释的代码,实现了基于System V消息队列的进程通信案例,并深入分析高并发场景下管道与消息队列的两次拷贝、内核缓冲区限制等性能瓶颈,给出调整内核参数、批量传输、替换为共享内存+信号量等优化方案。

等风来 920

练习--LINUX进程间通信之无名管道PIPE

IBM上放的这个系统不错,刚好可以系统回温一下LINUX的系统知识。 http://www.ibm.com/developerworks/cn/linux/l-ipc/part1/ 感觉年纪大了,前几年看的LINUX内核和系统的东东,忘了很多,要慢慢转化成永久记忆才可以。 今天,又拿起《LINUX内核设计与实现》,慢慢啃下去。 ~~~~~~~~~~~~~...

weixin_33962923的博客 107

转一些Linux进程间通信的(IPC)的一些文章(来源于IBM developerworks)

最近要用到Linux进程间通信,从网上看到一个绝好的资料,是郑彦兴博士发表在IBM developerworks上的一系列文章,讲述了管道、信号、消息队列、共享内存几种通信方式。IBM developerworks上的文章向来都是精品,值得认真的去品读。 深刻理解Linux进程间通信:    深刻理解Linux进程间通信 Linux环境进程间通信(一):    管道及有名管道 Linux

Kaiwii的专栏 1625

Linux学习——进程间通信(初识)

Linux学习——进程间通信 进程间通信(IPC,Interprocess communication): 是一组编程接口,让程序员能够协调不同的进程,使之能在一个操作系统里同时运行,并相互传递、交换信息。 IPC方法:无名管道(pipe)、有名管道(fifo)、消息队列(msg)、共享内存(shm)、信号(sig)、信号量(sem) 1.无名管道(pipe) 个人认知:半双工通信,仅用在父子进程当中进行通信,当进程结束管道随之消失。 原型: #include <unistd.h> int

qq_22842309的博客 401

进程 第四天(进程间通信)

印象笔记:进程 第四天(进程间通信) 一,进程间通信简介     由于每个进程都有自己独立的运行环境,因此进程与进程间是相对封闭的。如何让两个封闭的进程之间实现数据通信是进程编程的重点与难点。 Linux的内的进程通信机制基本来源于Unix的系统对Unix的发展做出巨大贡献的两大主力--AT&T公司的贝尔实验室和加州大学伯克利分校 - 。在进程通信领域研究的侧重点不同。     贝尔实验室...

nan_lei的博客 1626

Linux进程间通信(上)

本文介绍Linux进程间通信的概念以及管道的使用

小小一只程序员的博客 192
上一篇: 一个超酷的开源uHand2.0机械手掌项目
下一篇: Linux进程间通信(中)之信号、信号量实践
Engineer-Bruce_Yang
Engineer-Bruce_Yang 领域专家: 嵌入式与硬件开发技术领域 领域专家: 嵌入式与硬件开发技术领域
博客等级 码龄11年 9643粉丝 763原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Engineer-Bruce_Yang

谢谢您

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值