Habang lalong umiinit ang kompetisyon sa artificial intelligence o AI, sinabi ni Zhang Yiming, founder ng ByteDance na parent company ng Douyin, na hindi gagamitin ng kumpanya ang model distillation bilang shortcut para mapahusay ang kakayahan ng kanilang AI models.

Ayon sa ulat ng Chinese media outlet na The Paper, sinabi ni Zhang sa isang all-hands meeting ng ByteDance Seed team noong Hulyo na dapat handa ang kumpanya na isakripisyo ang bahagi ng short-term gains para sa long-term goals.

Napakatindi umano ng kompetisyon sa malalaking AI models sa China ngayong taon. Halos kada ilang araw ay may bagong model na inilalabas, habang mabilis ding umuunlad ang open-source models ng mga domestic competitor. Dahil dito, tumataas ang pressure sa ByteDance, at tuwing may malakas na bagong open-source model na lumalabas, muling umiinit ang debate sa loob ng kumpanya tungkol sa paggamit ng distillation.

Binigyang-diin ni Zhang na dapat manatili ang kumpanya sa long-term approach sa pagbuo ng models at matutong maghintay sa resulta, sa halip na gamitin ang output ng ibang models para lamang pansamantalang tumaas sa rankings.

Ang model distillation ay isang technique na ginagamit upang kopyahin o ilipat ang performance ng isang mas malaki at mas komplikadong language model papunta sa mas maliit na model. Ginagamit ang output ng malaking model para sanayin o pagbutihin ang mas maliit na model, at karaniwan itong ginagamit sa tech industry.

Ayon sa ulat, mahigpit na ipinagbabawal sa loob ng ByteDance ang pag-distill mula sa open-source models. Naniniwala si Zhang na maaaring hadlangan ng ganitong paraan ang tunay at pangmatagalang technological breakthroughs.