Yandex Meteum как работи системата за прогнозиране на времето до къщата
За да разберете как новата технология Meteum се различава от класическите, трябва да разберете как работи светът на метеорологичните модели в момента. Сега има няколко основни модела, които се използват за краткосрочна прогноза за времето. Сред основните са моделът WRF с отворен код и моделът GFS. И двете технологии имат малко по-различен вектор на развитие. Нека да разгледаме накратко принципа на прогнозиране на времето, използвайки примера на WRF.
Класическа метеорология
В основата си моделът WRF е програма с отворен код, написана на Fortran, която отразява натрупаните знания на учените за физиката, динамиката, атмосферата и съответно за времето. Този модел е създаден, за да опише сложна динамична система, която е земната атмосфера. Принципът на действие на този модел може да бъде разделен на два условни компонента: прогнозиране на физиката и динамиката. Физическите модули WRF следят топлината, която се абсорбира и отделя от атмосферата, както и образуването на валеж на определено място и в определено време. Динамичната информация включва образуването на циклони, розата на ветровете, движението на въздушните маси и др.
Фигурата показва разрез на решетката на модела на атмосферата. Резултатите от физическите изчисления на нагряването и охлаждането на атмосферата се показват с цвета на клетките. Стрелките показват движението на въздушните маси. Набор от полуемпирични модели е отговорен за физическия компонент, а подобрена версия на уравнението на Ойлер е отговорна за динамиката. Именно в решаването на това уравнение е основната трудност при прогнозирането на времето, или по-скоро в правилното параметризиране на процесите, които влияят на атмосферата отвън. За такива процесивключва слънчева радиация, топлинна радиация от почвата, парникови газове и др. И това е само малка част от това, което трябва да се има предвид при прогнозиране на времето.
Това би било непосилна задача, ако не беше натрупаният опит на човечеството в областта на наблюдението на метеорологичните условия. За това са създадени неща като метеорологични станции, сателитни спектрометри, радари, лидари и много други. За да се постигне необходимата точност на прогнозата, са необходими 10 000 метеорологични станции по целия свят, 80 метеорологични сателита и около 1500 станции за радиологично сондиране. Следователно данните за наблюденията на състоянието на атмосферата, получени за миг, са терабайти информация от стационарни измервания, радарни сканирания и снимки от сателити.
Система Meteum
Изчислителната домейн система на числения модел в Meteum е проектирана по такъв начин, че да покрива района на прогнозиране по два начина: върху мрежа с голяма разделителна способност (6x6 km.) и върху мрежа с фина резолюция (2x2 km.). Фигурата показва първоначалното местоположение на изчислителните области. Червен - външен домейн с решетка 6х6 км., син - вложени области с резолюция 2х2 км. Според компанията това е основното местоположение на зоните, като в бъдеще обхватът на покритие на системата ще се разширява непрекъснато.
Тези мрежи взаимодействат помежду си, предавайки необходимата информация за времето. За да се обработват и съхраняват атмосферни параметри, е необходима огромна изчислителна мощност. Повече от 10Tb прогнози се получават ежедневно от клъстерите на Yandex, а за да се предскаже времето за 48 часа с необходимата точност на детайлите, са необходими повече от 6 часа обработка.
Системата за получаване и обработка на данни за изчисляване на модела и технитекомбинирането в алгоритъм за асимилация е сложен процес, състоящ се от много връзки. Така че нека не навлизаме в подробности, а по-скоро да говорим за машинното обучение, което се превърна в основния акцент на системата Meteum.
Машинно обучение
Основният модел за изчисление на Yandex клъстери е WRF. Освен това системата получава прогнози за 1200 града по света, направени от Foreca. По-подробна информация за състоянието на атмосферата идва в Meteum от американския модел GFS, който между другото се счита за един от най-точните модели в света и има разделителна способност от 0,25 °. Данните на тези модели за различни метеорологични условия позволяват на системата по-точно да избира корекции на прогнозата и правилно да избира първоначалните данни.
Трябва да се отбележи, че повечето прогнози изкривяват някои параметри. Например те надценяват количеството на валежите или подценяват температурата в града. Просто е невъзможно човек да определи такъв набор от модели, но за машинното обучение това е напълно изпълнима задача. За да определи връзката между моделните прогнози и реалните метеорологични условия, Meteum използва популярния алгоритъм за машинно обучение Matrixnet.
Matrixnet получава архиви с обработени прогнози от модели и ги сравнява с реалната метеорологична обстановка, която е наблюденията на хиляди метеорологични станции, сателити и радари. В резултат на всички съгласувания се получава окончателната формула за коригиране на прогнозата за времето, която е оптимална в определен момент.
За съжаление някои райони на отдалечени райони не могат да предоставят достатъчно информация за параметрите на атмосферата, поради факта, че метеорологичните измервания там са изключително редки. Следователно, заИзграждайки хиперлокална прогноза, Meteum използва голямо количество данни, които индиректно показват метеорологичната ситуация в тези райони.
Как работи Meteum
Както споменахме по-рано, отличителна черта на Meteum е непрекъснатото изчисляване на прогнозата за времето в реално време. Всеки път, когато потребител влезе в услугата, в системата влиза информация от различни метеорологични модели. Прогнозите на WRF и GFS се намират на специална микроуслуга, тежат около 60 GB и се актуализират всяка минута. Обемът и честотата на актуализациите на прогнозите от Foreca са много по-ниски.
Освен това всички тези данни, заедно с реалната метеорологична ситуация, получена от метеорологичните станции, се изпращат до Matrixnet, където се съставя обща прогноза за времето. Всички процеси, описани по-горе, се случват всеки път, когато потребител влезе в Yandex.Weather. Когато прави заявка, той изпраща своите географски координати на Meteum, а системата анализира действителната метеорологична обстановка, вида на подстилащата повърхност и прави собствена прогноза за времето за конкретно местоположение на потребителя.
Резюме
Според собствените оценки на компанията (все още не са правени независими измервания) системата Meteum вече предоставя най-точната прогноза за времето. Например прогнозата за температурата на Meteum е с 35% по-малко грешна от най-близките конкуренти на системата.
Абонирайте се за нашия интересен канал в Telegram, за да не пропуснете нищо.