AI：问题思考

机器学习


  1. 人类在识别物体的时候也是分层次进行识别的，如果物体是一个比较简单的易于识别的物体，那么可能很快就会被识别出来，但是一个比较复杂的物体（比如被遮挡的物体，或者是明暗不明显的物体）可能需要进行仔细的观察然后才能识别出物体的具体信息。
    该想法是否可以应用到AI领域（卷积神经网络中），即在卷积神经网络的不同层对已经识别的特征进行输出，这样可以减少网络的计算量，如果在较浅层无法输出清晰正确的结果，那么可以在深层继续进行输出。
  2. 在图片分类中采用线性分类，更多的是一种对颜色敏感的分类模型，如果是采用灰度图像，那么线性分类器的效果可能会很差。
  3. 对图片的线性分类中的权重矩阵W，可以取出每一行的数据，将其还原成和原始图片大小相同的图片，可以还原出和分类数量相同的图片数量。还原的每一张图片表示其分类中的颜色权重值。
  4. 正则化的作用：
    a. 增加模型的泛化作用
    b. 对权重矩阵进行特征选择，L2可以让权重矩阵更加的平局，L1可以获得稀疏的权重空间，本质上正则化就是权重矩阵W解空间的一个选择器 ，在同样满足条件的W空间中，选取具有想要特征的W值
  5. 比较不同损失函数之间的区别
    softmax 加交叉熵的损失
    SVM hinge loss
    softmax 会考虑到所有的输出数值，而svm只会考虑到和真值相聚较小的数值（相距较大的数值被忽略，不会对损失造成影响）
  6. softmax计算损失的时候，为什么需要对数化目标概率
    为了更加方便的计算，同时可以将损失缩放还原到一个相对合理的计算空间中。
    也是为了数学上的优美