本文主要讲述NLP中最基础的词向量的相关内容。
TIES工程训练及表格的生成
本文字数: 0 阅读时长 ≈ 1 分钟
python多线程/多进程以及压测
本文字数: 0 阅读时长 ≈ 1 分钟
医学影像算法总结
本文字数: 0 阅读时长 ≈ 1 分钟
神经网络常用计算模块总结
本文字数: 1.4k 阅读时长 ≈ 1 分钟
1、Flops、MACs、Params计算
https://github.com/he-y/soft-filter-pruning/blob/master/utils/cifar_resnet_flop.py
https://github.com/Lyken17/pytorch-OpCounter
crnn中:
1 | 统计模型参数量等信息 |
2、模型初始化
1 | def weights_init(model): |
3、导入模型(单机单卡到分布式)
4、自定义学习率(如warmup)和优化器
度量学习及图像检索工程应用
本文字数: 0 阅读时长 ≈ 1 分钟
GAN变种及应用汇总
本文字数: 837 阅读时长 ≈ 1 分钟
网络变种
1、PyTorch-GAN
https://github.com/eriklindernoren/PyTorch-GAN
1 | Table of Contents |
应用
风格迁移
1、pystiche
https://github.com/pmeier/pystiche
Framework for Neural Style Transfer (NST) built upon PyTorch
2、GMA_CI_2019_ssim_content_loss
https://github.com/pmeier/GMA_CI_2019_ssim_content_loss
Content representation for Neural Style Transfer Algorithms based on Structural Similarity
数据/类别不均衡分析
本文字数: 0 阅读时长 ≈ 1 分钟
目标检测模型优化
本文字数: 88 阅读时长 ≈ 1 分钟
模型压缩(蒸馏/剪枝/量化)方法总结
本文字数: 841 阅读时长 ≈ 1 分钟
蒸馏
1、Distilling Object Detectors with Fine-grained Feature Imitation(CVPR19)
https://github.com/twangnh/Distilling-Object-Detectors
剪枝
1、soft-filter-pruning(FPGM)
https://github.com/he-y/filter-pruning-geometric-median?utm_source=catalyzex.com
Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration(CVPR19 Oral)
量化
1、EasyQuant: Post-training Quantization via Scale Optimization
https://github.com/deepglint/EasyQuant
EasyQuant(EQ) is an efficient and simple post-training quantization method via effectively optimizing the scales of weights and activations
2、dnn-gating(PACT)
https://github.com/cornell-zhang/dnn-gating?utm_source=catalyzex.com
PACT: PARAMETERIZED CLIPPING ACTIVATION FOR QUANTIZED NEURAL NETWORKS
3、scale-adjusted-training
https://github.com/jakc4103/scale-adjusted-training?utm_source=catalyzex.com
Towards Efficient Training for Neural Network Quantization