# MultimediaProcessor

**Repository Path**: northern-maple-snow/multimedia-processor

## Basic Information

- **Project Name**: MultimediaProcessor
- **Description**: 在基于MPEG-7的多媒体处理软件Caliph&Emir的基础上，沿用了业务流程，重写/优化并增添了多种描述符的实现，增加了基于描述方案的分类模型训练方法，增加了基于传统特征和神经网络的分类模型等
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 41
- **Created**: 2024-12-17
- **Last Updated**: 2024-12-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Multimedia_Processor

## INTRODUCTION

​		本项目旨在构建一个基于MPEG-7标准和SVM分类模型的高效图像隐私分类与检索系统，解决多媒体数据异构和隐私检索问题。通过详细研究MPEG-7描述符提取技术和SVM分类模型，优化分类参数，设计并实现完整的系统架构，提升图像分类识别的准确性和效率，以满足媒体数据隐私检测的需求。在基于MPEG-7的多媒体处理软件Caliph&Emir(*Lux, Mathias. "Caliph & Emir: MPEG-7 photo annotation and retrieval." Proceedings of the 17th ACM international conference on Multimedia. ACM, 2009.*)的基础上，沿用了业务流程，重写/优化并增添了多种描述符的实现，增加了基于描述方案的分类模型训练方法，增加了基于传统特征和神经网络的分类模型等.由于产权问题此仓库仅上传早期版本，不定期更新部分内容。

## Environment

​		java 2.x      python 3.6  open-cv

## HOW TO USE

​		打开工程文件夹后，在src目录的lux下有annotation和retrieval程序，分别为描述标记和分类检索部分。                                        		描述标记部分中根据注释在对应文件中可以新增新的描述符，注意在各个位置都增加有关内容保证新增描述符的正常使用。本项目新增的常规描述符用java编写，特殊描述符由于java处理图像相比python较为复杂因此我们使用python实现非常规描述符（RSD等）。描述符的添加参考MyDescriptor文件                                                                                                                                  		分类检索部分在原先文件基础上增加了分类模型，更好地辅助系统完成基于相似度的目标图像检索。我们分别使用传统方法和基于CNN的方式以及两者结合完成了模型建立和训练，目前配置了SVM和CNN相关代码，即MP7_SVM_Cifar10_xmlload.py作为模板文件，保存的模型参数为scaler.joblib和svm_xxx.joblib，CNN模型配置一个3*3的网络作为模板并附带预训练参数。