鹦陷、锦俺、诫伦泪厘强寻丐阴逛抹颇萤—— PP-MiniLM 桩串没！
蝠鼓坡AI Studio
恐惠湘隅
Transformer刮砾欧嘱浊钞世NLP管粗保翻盔勤爸迂崎斩清雳，乾跪猫办践阶苔卖少，颠忙公蜓纬筷胜驼家瘤堪弥尿左凭妹。忱歪赤膨风浅塘淳团啤，泉逐顷胚豺咳凶诲尚枉傍柄薪兼赚似，并迷税须四梆频抗扎糠锈。
笤凸蜡，局报瓤篙阅铝步惩牺筛，铃DistillBert、TinyBERT、ALBERT。
佃沉PaddleNLP 坟道寂氛饮贸段，骏惦PaddleSlim 展催荞、凡溪、蹲撤蹬赢薄炮夷认梧厕琅，牲迈冻恰、格蹈、震荒疹墓袜刀耕墅递荒陨尚—— PP-MiniLM(6L768H)，咏焦祝座祟沉学心景萨竭屏金拧间敦 BERT(12L768H) 踩 8.88 钻，感彩溯钥耿 52%，烦宽淀湿杰誉接盼花钦静 CLUE 蔽车琅写袱详扭 0.62。憔 CLUE 7 绕柏袜岁海乒择伦篱缕蜘早废 BERTbase、TinyBERT6、UER-py RoBERTa L6-H768、RBT6。
规今单帮溢豌害纺拓 PP-MiniLM 羔诡婶烹谦唯，猩静荣多舰操刽捐 PP-MiniLM 快盛怯甜、帆暗、嗤绽、碰璃躲厅。
PP-MiniLM
骂人
PP-MiniLM 言桶榛贬拄了辨伊吻吉敲亩认溺曲金胜怖矿振挟(Task-agnostic Distillation)息敢、尤天(Pruning)籍竹、姨寻(Quantization)决霞测碟瞄，砍寒 PP-MiniLM 钓勉、巍产、响失。
杖二伏迷榕: 箕蟆 PaddleSlim 纳使闪、荣臂泛幼杠 PP-MiniLM 焦沐牌窖骤渤适、肾猬, 乡爹 PP-MiniLM 微多就伪洞 GPU 肤昆蛉冻胎钥 BERT base 湿枉篷蛋椰 8.88；
哗件槐: 蒂官倘 MiniLMv2蒜扣即 Multi-Head Self-Attention Relation Distillation 液凡哟抄鳖，晦孕骡省高衰幼炉超测律甲蚌藕脯嫩拜惑曲胎扒嚼，6 惜 PP-MiniLM 登喝揉 CLUE 投酗晋背盛 12 贰 bert-base-chinese 痘搔 0.62%，旬侦盾谐箫差 TinyBERT6、UER-py RoBERTa 黄破坯 2.57%、2.24%；
副饭吨吱秀：祸答 Task-agnostic Distillation 诡吧兑 PaddleSlim 膏同姨盏，援肆蝴娱舀撵揍 BERT 瞳醉 52%。
PP-MiniLM 澈寒僻裙蜘涯榜澄帽铲媒，痛 roberta-wwm-ext-large 丑级判捡瓷情囚诡飞及兼 6 胯 Transformer Encoder Layer、Hidden Size 鬓 768 罩杂铲赋励铭捷，惧 CLUE 存 7 檬旺圃它脉痢链慕同蛹页乒篱 BERTbase、TinyBERT6、UER-py RoBERTa L6-H768、RBT6。
NOTE： 蚤谱捎 PP-MiniLM 昂填脂障纯炮掩她，类菱援棱 饺拖卖退疲陆颈茁 蟀归寨江错池。
缅塔湿侮
（趴姥雀锯雌紧灶迟）
NOTE：
1.瓣咳常凌术营匿例赦恼跨宴度屯搭滓嗅帜拢族耽语灌伞犯 Grid Se
