🚀 t.me/sberlogab...
👨🔬 Д.Пензар, В.Вяльцев, "Предсказание реактивностей нуклеотидов РНК по ее последовательности при помощи ArmNet - Ribonanza competition 1st place solution (www.kaggle.com...)"
⌚️ Пятница 23 февраля 2024, 19.00 (по Москве)
Команда VIGG ( Vavilov Institute of General Genetics (Д.Пензар, В.Вяльцев, А.Бакулин, А.Зинкевич, Е.Носкова ) заняла первое место в научном конкурсе по предсказанию свойств РНК, опередив 700+ команд и даже команду грандмастеров NVIDIA во главе с легендарным "Dieter" (топ1 в общем рейтинге Кагггл).
Точное предсказание структуры РНК может помочь совершить революцию в науке и медицине, облегчив исследователям процесс выявления уникальных РНК мишеней для лекарств и разработки лекарств на основе РНК. С целью создания модели, эффективно предсказывающей структурные характеристики молекул РНК, был создан международный конкурс Stanford Ribonanza RNA Folding (www.kaggle.com...) на платформе Kaggle, в котором решение нашей команды заняло первое место, значительно опередив остальные команды со всего мира и известные SOTA-решения.
В основе нашего подхода лежит трансформерная encoder-only архитектура, показавшая себя намного лучше сверточных нейросетей. Значительно качество сети улучшило добавление BPPM (Base Pair Probability Matrix), а также отказ от абсолютного позиционного кодирования в пользу относительного. В качестве финальной модели мы использовали ансамбль из 28 одиночных моделей, который показал лучшее качество в конкурсе.
В ходе дальнейшего исследования, мы смогли ещё больше улучшить качество нашей модели, использовав идеи из SqueezeFormer. В новую модель - ArmNet - мы добавили возможность двусторонней коммуникации между признаками, основными на BPPM и матрицами внимания.
Write-up (www.kaggle.com...) на Каггл.
Негізгі бет Д.Пензар, В.Вяльцев, "Предсказание реактивностей нуклеотидов РНК по ее последовательности "
No video
Пікірлер