Использование python на этапе подготовки и анализа данных для обучения алгоритмов.
- Длительность доклада: 25 мин
- Количество просмотров: 21
- Общая продолжительность просмотров: 2 ч 07 мин
- Добавлен в подборки: 10 раз
Автор:
Руководитель по развитию продукта DeepCore, аспирант Сколковского института науки и технологий. Выпускник геологического факультета МГУ, имеет практический опыт седиментологических исследований, учувствовал в ГДП-200. С 2018 года выполняет проекты, основанные на применении методов машинного обучения в геологии.
Аннотация
Доклад посвящен использованию языка программирования Python для подготовки и анализа данных при обучении алгоритмов, в частности, при работе с геологическими данными. Автор представляет систему автоматизированной обработки изображений керна с использованием сверточных нейронных сетей – DeepCore, а также обсуждает различные типы геологических данных и способы их анализа.
В докладе рассматриваются различные типы геологических данных: 1D и 2D данные точечных замеров, а также 2D и 3D площадные данные. Эти данные требуют различных подходов для анализа и обработки.
Обозреваются традиционные методы анализа для 1D и 2D данных, и подчеркивает особенности, возможности и ограничения этих методов. Предлагается широкий набор библиотек для работы с таблицами, диаграммами и каротажными данными, таких как Pandas, Matplotlib и другие. Автор показывает, как эти библиотеки могут быть использованы для замены Excel в более сложных и автоматизированных процессах. Приведены примеры использования библиотек на практике. Демонстрируется как простой, так и продвинутый подходы к работе с анализом данных, подчеркивая гибкость и возможности Python.
Автор описывает особенности работы с 2D и 3D данными, которые требуют специальных библиотек для обработки чисел, матриц и изображений. Эти инструменты помогают эффективно анализировать сложные геологические структуры и визуализировать результаты. Показывается результат продвинутого подхода при его использовании в работе с 2D и 3D данными.
В докладе перечислены основные инструменты, используемые в работе с кодом, такие как, например, Jupyter Notebook. Автор также упоминает о возможных препятствиях, с которыми могут столкнуться пользователи при внедрении Python в рабочие процессы.
Доклад завершается обсуждением преимуществ использования Python на этапе подготовки и анализа данных, а также подчеркиваются возможности адаптации к изменяющимся условиям и требованиям.