构建自己的图像分类数据集【两天搞定AI毕设】_哔哩哔哩_bilibili

数据科学中有一句话：Garbage in, garbage out。

A1 图像前爬虫

• 有一个爬百度图片的代码在对应的位置，仅供科研使用。

A2 图像数据集的前期处理和注意事项

数据分布：

• 各类别图像数目最好能均衡分布，当然有算法可以弥补，但是第一步尽可能不要给自己留麻烦。

多样性、代表性、一致性

• 不同拍摄环境（光照、角度、遮挡、远近、大小）
• 不同形态（完整西瓜、切瓣西瓜、切块西瓜）
• 不同部位、时期、背景（抠图）
• 不同图像域（画、照片）
• 如果训练集和测试集（或实际测试场景）的分布不一致，称为 OOD (Out-of-Distribtion) 问题。

其他注意事项：

• 删除无关图片。

• 删除多余文件。

  • Linux 的 find 命令可以找到。 find . -iname '...'。
    • __MACOSX
    • .DS_Store
    • .ipynb_checkpoints

  for i in `find . -iname '...'`; do rm -rf $i; done
  

删除无法读入的文件（如 GIF 文件）

for label in os.listdir(DATASET_DIR):
    for imgfile in tqdm(os.listdir(os.path.join(DATASET_DIR, label))):
        imgpath = os.path.join(DATASET_DIR, label, imgfile)
        img = cv2.imread(imgpath)
        if img is None:
            print(imgpath + "无法读取，予以删除")
            os.remove(imgpath)

将 PNG-RGBA32 图像转为 PNG-RGB24 图像

A3 学习方法

有的是傻瓜式的（但是你要给钱）。