Все знают, что современные ученые используют в своей работе ИТ. Для ученых XXI века компьютеры и ИТ стали не просто удобной заменой инструментов, которыми они пользовались до этого. Фактически, они открыли совершенно новые средства и методы научной работы, позволившие совершить целый ряд открытий в самых разных областях знаний.
Одним из таких средств стал Scientific Data Set (SDS) - библиотека классов для работы с многомерными массивами, являющимися основным типом научных данных. Часто такие массивы имеют очень большие размеры. Представьте себе, с какими объемами данных приходится работать геофизику при анализе спутниковых снимков, и сколько разнородной информации нужно обработать, чтобы составить точную климатическую модель планеты.
Очень немногие ученые являются профессиональными программистами, поэтому для исследователя важно иметь простой и эффективный способ выполнять сложные операции над многомерными данными большого объема. На решение именно этих задач нацелен проект SDS, разрабатываемый лабораторией вычислительной математики в Microsoft Research в Кембридже (Великобритания) и лабораторией Инструментальных средств математического моделирования факультета Вычислительной математики и Кибернетики МГУ им. М.В. Ломоносова. Библиотека SDS в виде исходного кода свободно доступна на сайте sds.codeplex.com, и сегодня ей пользуются сотни ученых и разработчиков.
Ключевыми техническими особенностями SDS являются: поддержка широко распространенных в научной среде форматов данных, таких как CSV и NetCDF; использование метаданных для описания единиц измерения, происхождения данных и другой необходимой исследователю информации; работа с произвольными объемами данных, начиная с текстового файла до терабайтных архивов в облаке Windows Azure; поддержка динамических наборов данных, когда пользователь автоматически уведомляется об их изменении. Например, подключенная к набору данных компонента визуализации будет динамически обновлять изображение по мере появления новых данных. В рамках того же совместного проекта на основе библиотек SDS и Dynamic Data Display создано универсальное приложение для научной визуализации DataSet Viewer.