390 lines
13 KiB
Plaintext
390 lines
13 KiB
Plaintext
五个功能模块
|
||
1. Yolo + Tracker + Resnet, 其中 Resnet 的实现在./contrast中
|
||
track_reid.py
|
||
|
||
2. 轨迹分析模块，目录为：./tracking
|
||
(1) 基于模块（Yolo + Tracker + Resnet）的输出
|
||
tracking_test.py
|
||
|
||
(2) 基于测试过程数据（track.data, tracking_output.data）的输出
|
||
module_analysis.py
|
||
|
||
3. 比对分析模块，目录为：./contrast
|
||
2个场景：1:1，1:n
|
||
1:1场景：
|
||
(1) 利用现场保存数据进行比对
|
||
OneToOneCompare.txt（现场保存数据）
|
||
one2one_onsite.py
|
||
(2) 利用本地算法进行特征提取
|
||
one2one_contrast.py
|
||
1:n场景：
|
||
(1) 直接利用 deletedBarcode.txt 中数据
|
||
one2n_contrast.py
|
||
(2) 构造取出、放入事件，设计不同的特征，
|
||
feat_select.py
|
||
|
||
|
||
4. 整体流程仿真
|
||
pipeline.py
|
||
需要指定是个变量：
|
||
(1) evtdir: 保存各个事件的文件夹
|
||
(2) SourceType: "image", "video", yolo+resent+tracker模块输入数据类型
|
||
(3) savepath: 结果数据保存位置
|
||
(4) weights: YoloV5 模型权重
|
||
|
||
savepath
|
||
(1) Yolos_Tracking
|
||
eventname文件夹，保存yolo+resent+tracker模块输出，包括：
|
||
(1) images 或 {videoname}
|
||
(2) subimgs
|
||
(3) trajectory
|
||
(4) front_y2.png
|
||
(5) trajectory.png
|
||
(2) ShoppingDict_pkfile
|
||
保存 ShoppingDict 字典的 pickle 文件，可用于构造 ShoppingEvent 对象。
|
||
|
||
(3) contrast
|
||
保存1:1、1:SN、1:n数据
|
||
|
||
(4) error_events.txt
|
||
|
||
事件字典结构：
|
||
ShoppingDict = {"eventPath": eventpath,
|
||
"eventName": evtname,
|
||
"barcode": barcode,
|
||
"eventType": '', # "input", "output", "other"
|
||
"frontCamera": {},
|
||
"backCamera": {},
|
||
"one2n": []
|
||
}
|
||
|
||
相机字典：
|
||
CameraEvent = {"cameraType": '', # "front", "back"
|
||
"videoPath": '',
|
||
"imagePaths": [],
|
||
"yoloResnetTracker": [],
|
||
"tracking": [],
|
||
}
|
||
|
||
yoloResnetTracker，列表，元素 "frameDict" 为有关帧数据的字典结构
|
||
frameDict = {"path": path,
|
||
"fid": int(frameId),
|
||
"bboxes": det,
|
||
"tboxes": tracks,
|
||
"imgs": imgdict,
|
||
"feats": featdict}
|
||
|
||
|
||
|
||
|
||
|
||
|
||
5. 全实时时间切分仿真分析
|
||
time_devide.py
|
||
需分 2 步运行模块:
|
||
(1) runyolo()
|
||
|
||
该模块调用 imgs_inference.py 中模块 run_yolo, 该模块重新定义了类 LoadImages, 对图像进行了旋转。
|
||
后续工作：
|
||
1). 将run_yolo模块与track_redi.yolo_resnet_tracker模块合并
|
||
2). 图像文件名标准化
|
||
|
||
(2) show_seri()
|
||
该模块调用 event_time_specify.py 中模块 devide_motion_state
|
||
|
||
|
||
具体实现：
|
||
./tracking
|
||
tracking_test.py
|
||
have_tracked():
|
||
轨迹分析测试。遍历track_reid.py输出的文件夹trackdict下的所有.pkl文件。
|
||
|
||
time_test.py
|
||
统计Pipeline整体流程中各模块耗时
|
||
|
||
module_analysis.py
|
||
该模块中需要借助 try...except... 捕获data文件中的异常
|
||
main():
|
||
遍历文件夹下的每一个子文件夹，对子文件夹执行tracking_simulate() 函数；
|
||
|
||
main_loop()：
|
||
(1) 根据 deletedBarcode.txt 生成事件对，并利用事件对生成存储地址
|
||
(2) 调用 tracking_simulate() 函数
|
||
|
||
tracking_simulate(eventpath, savepath)：
|
||
(1) 根据event_names获取事件名enent_name
|
||
(2) 遍历并执行 eventpath 文件夹下的 0_track.data、1_track.data 文件，并调用do_tracking() 执行
|
||
(3) 将前后摄、本地与现场，工8幅子图合并为1幅大图。
|
||
上下子图分别显示的是前后摄，每一行4个子图，分别为：
|
||
(a) tracker输出原始轨迹;
|
||
(b) 本地tracking输出;
|
||
(c) 现场算法轨迹选择前轨迹;
|
||
(d) 现场算法轨迹选择后的轨迹
|
||
|
||
|
||
|
||
do_tracking(fpath, savedir, event_name)
|
||
inputs：
|
||
fpath: 0/1_track.data文件，并核验是否存在 0/1_tracking_output.data，若不存在该文件，直接返回 None, None
|
||
|
||
savedir: 在该文件夹下会建立3个子文件夹及一个png轨迹图
|
||
./savedir/event_name_images, 画boxes后的图像序列
|
||
./savedir/event_name_subimgs, 轨迹分析后的目标子图，无 _x 为PC机结果，有 _x 为平板单摄像头轨迹选择后的输出
|
||
./savedir/trajectory, 存储每一个轨迹图
|
||
./savedir/event_name_tracking_select.png 或 enent_name_tracking.png 或 enent_name_select.png
|
||
|
||
outputs:
|
||
img_tracking：本机tracker、tracking 输出的结果比较图
|
||
abimg: 部署算法的tracking、轨迹选择分析比较图
|
||
|
||
|
||
./utils/read_data.py
|
||
0/1_track.data 文件保存：yolo、Resnet、tracker、tracking模块的输出
|
||
函数: extract_data(datapath)
|
||
异常排除：
|
||
(1) assert len(boxes)==len(feats)，确保每一帧内boxes数和feats数相等
|
||
(2) assert(len(bboxes)==len(ffeats)), 确保关于bboxes的帧数和关于ffeats的帧数相等
|
||
(3) assert(len(trackerboxes)==len(trackerfeats))，确保tracker输出的boxes可以对应到相应的feats上
|
||
这里未对 len(box)!=9、len(feat)!=256, 的情况做出约束
|
||
输出：
|
||
bboxes
|
||
ffeats
|
||
trackerboxes
|
||
tracker_feat_dict[f"frame_{fid}"]["feats"]{{bid}: (256,)
|
||
}
|
||
trackingboxes
|
||
tracking_feat_dict[f"track_{tid}"]["feats"]{f"{fid}_{bid}": tracker_feat_dict[f"frame_{fid}"]["feats"][bid]})
|
||
|
||
|
||
|
||
0/1_tracking_output.data 文件保存用于比对的boxes、features
|
||
函数: read_tracking_output(filepath)
|
||
异常排除：
|
||
(1) assert len(feats)==len(boxes)
|
||
(2) box.size==9、feat.size=256
|
||
|
||
|
||
|
||
./deprecated/contrast_one2one.py
|
||
1:1 比对评估。have Deprecated!
|
||
./enentmatch.py
|
||
1:n 模拟测试，have Deprecated!
|
||
|
||
|
||
./contrast
|
||
seqfeat_compare.py
|
||
similarity_compare_sequence(root_dir)
|
||
inputs:
|
||
root_dir：文件夹，包含"subimgs"字段，对该文件夹中的相邻图像进行相似度比较
|
||
silimarity_compare()
|
||
功能：对imgpaths文件夹中的图像进行相似度比较
|
||
select_subimgs.py
|
||
为吴华琦实现的样本选择程序
|
||
|
||
|
||
event_test.py
|
||
calc_simil(event, stdfeat)
|
||
事件与标准库的对比策略，该函数在one2one_contrast.py中调用
|
||
calsiml(feat1, feat2, topkp=75, cluth=0.15):
|
||
功能：计算2个样本集的相似度
|
||
（1）(feat1, feat2)，对于单样本，选择 topkp 的相似度，并求均值，得到单样本对另一个特征集的相似度；
|
||
（2）simi_max：样本集 feat1 对样本集 feat2 的相似度，是一个向量
|
||
（3）对 simi_max 进行聚类，阈值为 cluth，选取值最大的聚类中心，作为2个样本集相似度的度量
|
||
前后摄轨迹选择：
|
||
情况1：前后摄轨迹（与标准集的）相似度的差 > 阈值，表明前后摄中有一个轨迹与标准集相差较远，丢弃相应轨迹，保留具有较大相似度的轨迹
|
||
情况2：前后摄轨迹（与标准集的）相似度的差 >=阈值，表明前后摄轨迹与标准集均相似，求轨迹相似度均值
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
input_getout_compare.py
|
||
creatd_deletedBarcode_front(filepath)
|
||
(1) 基于 deletedBarcode.txt, 构造取出事件和相应的放入事件，构成列表并更新这些列表。
|
||
MatchList = [(getout_event, InputList), ...]
|
||
|
||
(2) 设计不同的特征选择方式，计算 getout 事件和各 input 事件的相似度，并保存于文件：
|
||
deletedBarcodeTest.txt
|
||
|
||
|
||
precision_compare(filepath, savepath)
|
||
读取 deletedBarcode.txt 和 deletedBarcodeTest.txt 中的数据，进行相似度比较
|
||
|
||
stdfeat_analys()：
|
||
feat_analysis(featpath): 标准特征集中样本类内、类间相似度分布
|
||
|
||
feat_infer.py
|
||
简单的subimg特征提取
|
||
|
||
|
||
|
||
genfeats.py
|
||
get_std_barcodeDict(bcdpath, savepath)
|
||
功能: 生成并保存只有一个key值的字典 {barcode: [imgpath1, imgpath1, ...]}
|
||
|
||
stdfeat_infer(imgPath, featPath, bcdSet=None)
|
||
功能: 对 imgPath 中图像进行特征提取，生成只有一个key值的字典。
|
||
{barcode: features}，features.shape=(nsample, 256)，并保存至 featPath 中
|
||
|
||
|
||
onsite_contrast_pr.py
|
||
one2one_pr()
|
||
现场试验输出数据的性能评估，输出1:1, 1:SN, 1:n的PR曲线和相似度直方图分布。
|
||
|
||
|
||
test_compare()
|
||
适用于202410前数据保存版本的，需调用 OneToOneCompare.txt
|
||
|
||
|
||
one2one_contrast.py
|
||
已修改，未更新。
|
||
共6个地址：
|
||
(1) stdSamplePath: 用于生成比对标准特征集的原始图像地址
|
||
(2) stdBarcodePath: 比对标准特征集原始图像地址的pickle文件存储，{barcode: [imgpath1, imgpath1, ...]}
|
||
(3) stdFeaturePath: 比对标准特征集特征存储地址
|
||
(4) eventFeatPath: 用于1:1比对的购物事件特征存储地址、对应子图存储地址
|
||
(5) subimgPath: 1:1比对购物事件轨迹、标准barcode所对应的 subimgs 存储地址
|
||
(6) resultPath: 1:1比对结果存储地址
|
||
|
||
(1), (2), (3): 保存标准特征集向量，只需运行一次
|
||
(4): 保存测试的事件字典，只需运行一次
|
||
|
||
|
||
test_one2one()
|
||
1:1比对
|
||
(1) 初始化事件和标准特征集, 只需运行一次
|
||
init_std_evt_dict()
|
||
(2) 事件barcode集和标准库barcode求交集
|
||
build_std_evt_dict()
|
||
(3) 1:1性能评估
|
||
one2one_simi()
|
||
(4) 计算PR曲线
|
||
one2one_pr()
|
||
|
||
test_one2SN()
|
||
1:SN比对
|
||
(1) 初始化事件和标准特征集, 只需运行一次
|
||
init_std_evt_dict()
|
||
(2) 事件barcode集和标准库barcode求交集
|
||
build_std_evt__dict()
|
||
(3) 1:SN性能评估
|
||
one2SN_pr()
|
||
|
||
|
||
init_std_evt_dict()
|
||
生成标准特征集与事件对象并存储，并存储相关数据，只需运行一次
|
||
|
||
(1) Barcode图像进行特征推理并保存
|
||
gen_bcd_features(stdSamplePath, stdBarcodePath, stdFeaturePath, bcdSet)
|
||
|
||
(2) 基于data文件或pipeline输出的pickle文件生成 ShoppingEvent 对象
|
||
gen_eventdict(eventDatePath, saveimg)
|
||
|
||
build_std_evt_dict()
|
||
基于事件barcode集和标准库barcode交集构造用于评估性能的事件集合。
|
||
|
||
simi_calc()
|
||
计算事件和标准特征集的相似度
|
||
|
||
data_precision_compare()
|
||
不同数据精度下的性能比较
|
||
|
||
|
||
|
||
int8_to_ft16()
|
||
|
||
|
||
ft16_to_uint8()
|
||
|
||
one2n_contrast.py
|
||
执行1:n共需要3步，分别对应3个函数：
|
||
(1) 生成事件字典并保存至 eventDataPath, 只需运行一次
|
||
(2) 读取事件字典
|
||
(3) 1:n 比对事件评估
|
||
|
||
(1) gen_eventdict(sourcePath)
|
||
|
||
|
||
(2) read_eventdict()
|
||
inputs：
|
||
eventDataPath: 类 ShoppingEvent 对象存储地址，该对象由函数 gen_eventdict() 生成。
|
||
|
||
output：
|
||
evtDicts
|
||
|
||
|
||
(3) one2n_pr()
|
||
inputs：
|
||
evtDicts
|
||
|
||
output：
|
||
fpevents：FP事件地址
|
||
|
||
(4) simi_calc()
|
||
计算两个事件的相似度
|
||
|
||
|
||
|
||
one2n_contrast_old.py (disused)
|
||
test_one2n()
|
||
1:n 现场测试性能评估，输出 PR 曲线
|
||
兼容 2 种 txt 文件格式：returnGoods.txt, deletedBarcode.txt,
|
||
分别对应不同的文件读取函数：
|
||
- read_deletedBarcode_file()
|
||
- read_returnGoods_file()
|
||
|
||
one2n_return(all_list)
|
||
输入：从returnGoods.txt读取的数据
|
||
输出：
|
||
corrpairs：(取出事件, 正确匹配的放入事件)
|
||
errpairs：(取出事件, 放入事件, 错误匹配的放入事件)
|
||
corr_similarity: (正确匹配时的相似度)
|
||
err_similarity: (错误匹配时的相似度)
|
||
|
||
|
||
one2n_deleted(all_list)
|
||
输入: 从deletedBarcode.txt读取的数据
|
||
输出：
|
||
corrpairs：(取出事件, 取出的barcode)
|
||
errpairs：(取出事件, 取出的barcode, 错误匹配的barcode)
|
||
corr_similarity: (正确匹配时的相似度)
|
||
err_similarity: (错误匹配时的相似度)
|
||
|
||
save_tracking_imgpairs(pairs, savepath)
|
||
输入：
|
||
pairs：匹配时间对，len(2)=2 or 3, 对应正确匹配与错误匹配
|
||
savepath：结果保存地址，其中图像文件的命名为：取出事件 + 放入事件 + 错误匹配时间
|
||
子函数 get_event_path(), 扫码放入的对齐名
|
||
对于 returnGoods.txt, 放入事件的事件名和对应的文件夹名不一致，需要对齐
|
||
|
||
test_rpath_deleted()
|
||
功能：
|
||
针对 eletedBarcode.txt 格式的 1:n 数据结果文件
|
||
获得 1:n 情况下正确或匹配事件对（取出事件、放入事件、错误匹配事件）
|
||
匹配事件分析, 实现函数：save_tracking_imgpairs()
|
||
重要参数：
|
||
del_barcode_file:
|
||
basepath: 对应事件路径
|
||
savepath: 存储路径, 是函数 save_tracking_imgpairs() 的输入
|
||
saveimgs: Ture, False, 是否保存错误匹配的事件对
|
||
|
||
get_contrast_paths()
|
||
针对 eletedBarcode.txt 格式的 1:n 数据结果文件,返回三元时间元组（getoutpath, inputpath, errorpath）
|
||
|
||
test_rpath_return()
|
||
针对 returnGoods.txt 格式 1:n 数据文件，不需要调用函数get_contrast_paths()
|
||
获得 1:n 情况下正确或匹配事件对（取出事件、放入事件、错误匹配事件）
|
||
匹配事件分析, 实现函数：save_tracking_imgpairs()
|
||
|
||
|
||
time_devide.py
|
||
runyolo()
|
||
执行 imgs_inference.py 中的 run_yolo()模块，该模块重新定义了类 LoadImages, 对图像进行了旋转。
|
||
|
||
|
||
show_seri()
|
||
|
||
|