视觉

SSR-Net(Soft Stagewise Regression Network)

摘要 1.受DEX启发: 将年龄预测回归问题变为多分类问题 2.由粗到细策略,每个阶段执行部分年龄分类,任务量少(Stagewise):每个阶段预测类别少,产生更小参数和更紧凑的模型 3.解决量化年龄问题,引入动态范围,让每个bin可以平移和缩放(Soft ):允许bin根据输入来进行平移和缩放 4.模型大小可以达到0.32M 损失函数 在训练时,最小化平均误差函数,这里,年龄预测 逐步回归 在DEX网络中,将年龄区间分为互不重叠的子区间bin,所以每一个bin的宽度为,我们假设第i段bin所代表的年龄为., DEX将网络作为s个类别年龄分类问题。给定输入图像x,输出分布向量来表示x属于每个年龄组的可能性。年龄的期望值为 为了进一步减少参数量,我们加入coarse-to-fine strategy,假设我们有K个阶段,第k个阶段有个bins。对于每个阶段我们训练网络输出分布向量,预测出的年龄阶段为 其中每一个bin的宽度,这里i是bin的索引. 动态范围 将年龄区间统一划分为非重叠区间在处理年龄组不平衡和年龄连续性方面不够灵活,粗粒度问题更严重。引入动态范围:允许每个bin可以根据输入图像进行移位(shifted,调整bin的索引i)和缩放(scaled,调整). 为了调整,我们引入,,是网络的回归输出,由此得到调整后的宽度. 为了实现偏移,对每个bins添加偏移量,,由此得到索引改变 模型结构 上图所示采用2-stream 结构: 不同的激活函数和池化方式可以提取不同特征,提高融合特征的丰富度。在每个阶段,来自两个流的特征被送入融合块。融合块负责产生分段输出, 对于,两个获得的特征图通过逐元素乘法融合,经过Tanh激活函数,将输出限制为[-1,1] 都是向量,经过全连接层,Relu保证分布概率为正值,输出限制为[-1,1] 在给定网络分段输出参数,后 结果分析 紧凑模型中表现最好。 GITHUB

非同步同帧双目摄像头采集图像进行深度检测处理的一点想法

市面常见双目摄像头 双目视觉算法可以很好运行的前提条件是左右两幅图像是同一时间采集的,即感光芯片曝光的时间段是相同的,目前市面上也有很多同步同帧的双目摄像头,一般价格都挺贵,之前用MYNTEYE 小觅摄像头测试得到的深度图像还凑合。但是事情并没有那么简单,遇到强光环境,普通的摄像头图像会因为光暗对比太大导致部分图像曝光不充分,尤其是在室外的环境,拍摄到的图像有可能会损失掉很多细节。 宽动态摄像头 所以如果要用在室外光线复杂的环境下,普通的双目摄像头是达不到要求的。对于复杂的光线环境,需要动态范围更宽的摄像头。宽动态摄像头很多很普遍,双目摄像头也不少,但是问题在于,宽动态的同步同帧双目摄像头实在没有。宽动态双目摄像头的研发并不复杂,也是普通双目摄像头的那一套,只是换个感光芯片之类的。然而到目前为止,并没有出现宽动态范围的同步同帧的双目摄像头。 因为正在做的项目是用双目摄像头在室外采集图像获取深度数据,而且工作环境光线复杂,因此必须使用宽动态摄像头。由于目前市面上买不到同步同帧的宽动态双目摄像头,所以也只能找两个宽动态摄像头拼一个双目了。 两个独立摄像头的同步问题 当前用的是两路相同的宽动态摄像头,帧率 25 帧每秒 ,输出图像 640*480 ,usb2.0口。说是25帧每秒,其实都知道没那么绝对,有可能是24.95,有可能是25.5,这完全看时钟源和感光芯片的心情。在没有同步机制的情况下,两个摄像头在同一个十秒时间里采集的图像可能会相差好几帧。相差几帧的后果很可怕,说明左右图像的采集间隔是不固定的,这给之后的图像处理带来很大难度。 时空间的误差 假定我正在使用的这对双目摄像头前面有一只鸟飞的非常快,我想获取它相对于摄像头的距离,左边摄像头刚巧拍到这只鸟,但是我还需要右边的图像才能进行深度检测,也许过了十毫秒,也许过了三十毫秒,右边的图像采集到了,然而图像中却找不到小鸟。这种情况还怎么检测深度数据,根本无法检测。所以不同步的双目摄像头的局限性很强,这与两个摄像头的性能没有太大关系,原因在于没有同步机制。 时间不同步的处理办法 上面讲的小鸟的例子只是一个极端,实际上不可能在几十毫秒内景物完全消失,但是还是应该考虑在两幅图像的间隔时间内景物的移动对两幅图像特征点相对位置叠加的影响。有一种方法可以补偿这种由于时间不同步而产生的误差,就是利用视觉跟踪算法,锁定物块在视野中的位置和运动速度,根据速度和左右图像间隔时间,求得左右两幅图像因为间隔而被叠加的干扰量的估计值,然后将其抵消,求得相对正确的深度数据,这种方法实现有些繁琐,效果也不见得太好,所以暂不考虑。因此只能在采集和处理时着重处理在时间上最为接近的左右两幅图像。 图像凑对的原则 我把不同步的左右两幅图像组成一对可以用于深度检测的图像的过程称为凑对。凑对的最简单原则是左右两幅图像的采集间隔应该尽量小,这样才能够保证时空间的尽量同步。如果两个摄像头的帧率绝对相同,也就是说左右摄像头采集图像的时间间隔是定值。比如考虑这样一个情况: TIME:0.00ms LEFT 间隔时间:0.00ms TIME:9.00ms RIGHT 间隔时间:9.00ms 凑对 TIME:40.00ms LEFT 间隔时间:31.00ms TIME:49.00ms RIGHT 间隔时间:9.00ms 凑对 TIME:80.00ms LEFT 间隔时间:31.00ms TIME:89.00ms RIGHT 间隔时间:9.00ms 凑对 TIME:120.00ms LEFT 间隔时间:31.00ms TIME:129.00ms RIGHT 间隔时间:9.00ms 凑对 TIME:160.00ms LEFT 间隔时间:31.00ms TIME:169.00ms RIGHT 间隔时间:9.00ms 凑对 TIME:200.00ms LEFT 间隔时间:31.00ms TIME:209.00ms RIGHT 间隔时间:9.00ms 凑对 TIME:240.00ms LEFT 间隔时间:31.00ms TIME:249.00ms RIGHT 间隔时间:9.00ms 凑对 TIME:280.00ms LEFT 间隔时间:31.

CNN结构:色彩特征提取-色彩属性HSV空间(色彩冷暖初始)

看完颜色的物理和数学描述基础,再来分析颜色的哲学基础,颜色的人文语义属性。颜色的基本三属性为色相、明度和纯度。 来自于百科:色彩是通过眼、脑和我们的生活经验所产生的一种对光的视觉效应。人对颜色的感觉不仅仅由光的物理性质所决定,比如人类对颜色的感觉往往受到周围颜色的影响。有时人们也将物质产生不同颜色的物理特性直接称为颜色。 人眼对色彩的感知一般来源于来自于光源的直射色和物体表面的反射色。 基础理论,查看百度经验:色彩基础知识 。下面文章摘抄了一小部分。 参考:如何通俗地解释色彩三要素:色相、明度、纯度? HSV(Hue, Saturation, Value)是根据颜色的直观特性由A. R. Smith在1978年创建的一种颜色空间, 也称六角锥体模型(Hexcone Model)。色彩的基本属性离开RGB色彩空间,重新定义了色彩的HSV空间,依然表示 单个色彩的唯一性,但有可能仍然没有包含提夫尼蓝。参考:色彩的HSV表示模型,Hue, Saturation, Value。HSV空间和RGB空间是双射映射。 RGB为生成色,CMYK为反射色,RGB和CMY颜色模型都是面向硬件的,而HSV(Hue Saturation Value)颜色模型是面向用户的。 色彩基本属性 色相-hue 色相是指色彩的相貌,是色彩最显著的特征,是不同波长的色彩被感觉的结果。光谱上的红、橙、黄、绿、青、蓝、紫就是七种不同的基本色相。 色相变化 参考:色相环 明度-value 明度是指色彩的明暗、深浅程度的差别,它取决于反射光的强弱。它包括两个含义:一是指一种颜色本身的明与暗,二是指不同色相之间存在着明与暗的差别。 颜色有深浅、明暗的变化。比如,深黄、中黄、淡黄、柠檬黄等黄颜色在明度上就不一样,紫红、深红、玫瑰红、大红、朱红、桔红等红颜色在亮度上也不尽相同。这些颜色在明暗、深浅上的不同变化,也就是色彩的又一重要特征一一明度变化。 色彩的明度变化有许多种情况,一是不同 色相之间的明度变化。如:在未调配过得原色黄色明度最高、黄比橙亮、橙比红亮、红比紫亮、紫比黑亮;二是在某种颜色中,加白色明度就会逐渐提高,加黑色明度就会变暗,但同时它们的 纯度(颜色的 饱和度)就会降低,三是相同的颜色,因光线照射的强弱不同也会产生不同的明暗变化。 纯度-saturation 也称彩度、艳度、浓度、饱和度,是指色彩的纯净程度。 其他色彩名词 相关关系及影响 0.三要素环 1. 明度对比类型 为了细致的研究色彩明暗对比,可以把黑、灰、白划分为11个色阶。靠近白的3阶为高调色,靠近黑的三阶为低调色,中间三阶为中调色。 高调:具有柔软、轻快、纯洁、淡雅之感; 中调:具有柔和、含蓄、稳重、明确之感; 低调:具有朴素、浑厚、沉重、压抑之感。 2. 纯度对比类型.p76 低纯度基调1-3:给人以平淡、消极、无力、陈旧的感觉,同时也能给人自然、简朴、柔和、超俗、宁静的感受。 中纯度基调4-6:能够传达中庸、文雅、安详的感觉。 高纯度基调7-9:由高纯色组成的基调,由鲜艳、冲动、热烈、活波的视觉感受,给人以积极、强烈而冲动的感觉,如图3-37所示,如运用不当也会产生残暴、恐怖、低俗、刺激的感觉。 图片:高纯度的红色照片,联想一下贞子 降低纯度的方法:加白(产生色相偏差)、加黑(失去光亮感,感觉变得沉着冷静)、加灰(变得柔和柔软)。 3.空间基底映射 RGB空间和HSV空间是双射的,转换矩阵如下所示。 引用地址:http://wenku.baidu.com/view/3ccc1ec58bd63186bcebbc0c.html### 金属光泽 金属光泽是光泽强度的等级之一。一般指反射率R>0.25者,宛如金属抛光后所产生的光泽。同时金属光泽也是矿物光泽的一种。一些硫化物和氧化物矿物。如黄铁矿、方铅矿、镜铁矿等就具有金属光泽。金属光泽矿物均属不透明矿物,很少用作宝石。 [1] 金属光泽是指如同金属 抛光后的表面所反射的光泽,如同平滑的金属光洁表面所呈现的光泽,反光极强,同 非金属光泽、 半金属光泽并列。 特别之处: 金属光泽在RGB空间可以在三通道均匀分布,转化到HSV空间,会产生奇特的特征,表示为金属光泽物体只有V值,其H值和S值均为0. 其他属性 冷暖对比 由于色彩的冷暖差别而形成的色彩对比,称为冷暖对比。红、橙、黄使人感觉温暖;蓝、蓝绿、蓝紫使人感觉寒冷;绿与紫介于期间,另外,色彩的冷暖对比还受明度与纯度的影响,白光反射高而感觉冷,黑色吸收率高而感觉暖。 在色相环上,红橙黄为暖色,其中橙色称为“暖极”,绿青蓝为冷色,其中天蓝色被称为“冷极”。在色重上,暖色偏重,冷色偏轻。在湿度上,冷色湿润。纯度越高,冷暖感越强。纯度越低,冷暖感也随之降低。 补色对比 将红与绿、黄与紫、蓝与橙等具有补色关系的色彩彼此并置,使色彩感觉更为鲜明,纯度增加,称为补色对比。 色调 色调指得是一幅画中画面色彩的总体倾向,是大的色彩效果。在大自然中,我们经常见到这样一种现象:不同颜色的物体或被笼罩在一片金色的阳光之中,或被笼罩在一片轻纱薄雾似的、淡蓝色的月色之中;或被秋天迷人的黄金色所笼罩;或被统一在冬季银白色的世界之中。这种在不同颜色的物体上,笼罩着某一种色彩,使不同颜色的物体都带有同一色彩倾向,这样的色彩现象就是色调。色调是画面色彩构成的总体效果。

Google logo 的含义

[img]http://dl.iteye.com/upload/attachment/193863/6128d31e-ffbf-3131-9a02-b499f74e2a96.gif[/img] 个人觉得应该是: 看!中国的发明!(暗指网络**) 另有百度贴吧的人认为是指: 你们就永远活在四大发明中吧! [b]go[/b] le! (logo中每个发明代表的字母),难道是指“够了,哥走了?”