Такой вопрос: как у кого с базами данных? Видел, с полгода назад в одной из тем начинался разговор об объединении усилий по сбору данных. Он привел к какому-то результату?
Я это вот к чему. Есть два момента.
Момент первый - имеются парсеры следующих сайтов
betexplorer.com
Парсит результаты матчей, минуты голов и таблицы кефов (всех, что есть). По таблице голов по ходу высчитывает текущий счет матча и какого типа гол быт забит (например, хозяева проигрывали, но сравняли счет или гости увеличили разрыв в голах или была ничья, но хозяева стали лидировать).
whoscored.com
Парсит результаты матчей, минуты голов и детальную статистику (где-то по 25 стат.показателей на команду - удары, пасы, фолы, угловые...).
По этому моменту есть предложение - выбрать наиболее качественную информацию из той, которая имеется у каждого из нас в наличии и объединить в одну взаимосвязанную единую базу. Навыки слияния разных баз в одну имеются. Навыки написания парсера - тоже. Другими словами, предлагаю объединить то, что умеем и то что имеем. А на выходе каждый будет иметь немного больше.
Момент второй - для этих баз используется определенный способ организации работы в Excel
Работа с данными организована с использованием двух надстроек PowerQuery и PowerPivot.
PowerQuery
Надстройка используется для интеграции данных в Excel. Решает проблемы, связанные с первичной обработкой данных, с пакетной загрузкой файлов, с объединением (append) или слиянием (merge) таблиц. Может даже читать и загружать SQL-базы. В общем, творит чудеса на этапе загрузки данных.
PowerPivot
Надстройка добавляет в Excel внутреннее хранилище данных, обладающее возможностью создавать взаимосвязи между таблицами, хранить большие объемы данных (до 2 миллиардов строк), а также на много быстрее (в сравнении с обычным способом хранения данных в рабочем листе) их обрабатывать. Один нюанс - такой способ хранения данных позволяет только их просматривать, редактирование запрещено. Но этот нюанс не существенен и данный способ организации работы его учитывает и обходит.
Фактически, данная надстройка превращает Excel в почти полноценную базу данных.
Есть еще надстройка DataMining, но она пока в режиме обкатки, поэтому, когда узнаю что она может, тогда смогу что-то рассказать.
Минимальные системные требования для работы с первыми двумя надстройками:
- Excel 2010, Windows Vista, >= 1Gb Ram
Рекомендуемые:
- Excel 2013, Windows 7, >= 2Gb Ram
Вся работа заточена под эти надстройки: структура таблиц, организация хранения и загрузки данных и т.д.
По этому вопрос: интересно ли кому-то услышать о работе с этими надстройками?
Если интересно, то могу рассказать что к чему и тогда построим нашу базу на основе данного инструмента.
Что скажете?