Что такое power query и power pivot
Совместное использование Power Query и Power Pivot
Power Query (получить & transform) и Power Pivot дополняют друг друга. Для импорта данных рекомендуется использовать Power Query.Power Pivot отлично подходит для моделирования импортированных данных. Используйте оба этих функции для наглядного Excel, чтобы изучать и визуализировать их в сводных и сводных Power BI
Коротко говоря, с помощью Power Query можно получать данные в Excel, как на Excel, так и на Excel данных. Power Pivot добавляет к модели данных дополнительные сведения.
С помощью Power Query можно находить источники данных, выполнять соединения, а затем формировать данные (например, удалить столбец, изменить тип данных или объединить таблицы) нужным образом. Затем вы можете загрузить запрос в Excel для создания диаграмм и отчетов. Power Query можно использовать в четыре этапа:
Подключение Импорт и подключение к данным в облаке, в службе или локально.
Преобразования Формировать данные в нужном виде, а исходный источник остается без изменений.
Объединить Дополнительные фигуры данных путем их интеграции из нескольких источников для получения уникального представления данных.
Нагрузки Выполните запрос и сохраните его на компьютере или в модели данных.
Это можно обдумать так. Вазы начинаются с висяки, которая превратит одну фигуру в что-то удобное и красивое. Данные одинаковы. Ее необходимо сформать в таблицу, которая подходит для ваших потребностей и которая позволяет использовать привлекательные отчеты и панели мониторинга.
Если данные помещаются в Excel данных, их можно усовершенствовать, выполнив аналитику в Power Pivot. Вы можете сделать следующее:
Обновление модели данных не поддерживается в SharePoint Online или SharePoint локально.
Модель данных, созданную с Excel Power Query, нельзя импортировать в таблильную модель в SQL Server Data Tools.
Надстройки Power Query и Power Pivot
Power Query и Power Pivot — надстройки Excel для легкой работы с тяжелыми файлами. С помощью Power Query можно подключать и обрабатывать источники информации произвольного вида, а в Power Pivot – выполнять сложные расчеты и создавать модель данных.
Надстройка Power Query
Появление Power Query – одно из важных событий в истории развития Excel. То, что раньше пользователи делали в Excel с помощью рутинных операций по преобразованию данных, писали огромные формулы или макросы на VBA, теперь можно выполнять буквально в несколько щелчков мышкой.
Power Query – это надстройка для создания запросов по импорту, очистке и преобразованию данных.
Как работает
В привычном нам виде Power Query впервые появился в Excel 2013. В Excel 2010 и 2013 надстройка отображается в виде отдельной вкладки «Power Query».
В Excel 2016 надстройка уже встроена по умолчанию, на вкладке Данные – раздел «Скачать и преобразовать».
В версии Excel 2019 на вкладке Данные разделы с Power Query — «Получить и преобразовать данные» и «Запросы и подключения».
Возможности Power Query
Операции по преобразованию данных выполняются в окне редактора запросов.
В редакторе Power Query пользователь работает с данными – выполняет преобразования, а его действия автоматически записываются в виде шагов запроса.
Как скачать Power Query
Надстройка устанавливается бесплатно и доступна для Excel начиная с версий 2010 года:
Надстройка Power Pivot
Power Pivot — это надстройка Excel, в которой можно выполнять улучшенные вычисления для сводных таблиц с помощью DAX-формул. Power Pivot значительно расширяет функционал сводных таблиц и позволяет работать с большими объемами данных – в десятки миллионов строк.
Как работает
Возможности Power Pivot
Кстати, в Power Pivot есть свои инструменты для импорта данных, но из небольшого числа источников – некоторые базы данных, файлы Excel и текстовые и др. Эти инструменты можно найти на вкладке Главная. Так как доступных источников данных не очень много, то, как правило, в качестве источника для него выступает Power Query, функционал которого по подключению намного больше.
Увидеть все загруженные данные можно в нижней части окна Power Pivot – ярлычки с названиями таблиц находятся там же, где названия листов в «обычном» Excel.
Узнайте, как использовать Power Query и Power Pivot в Excel
Быстрое получение аналитики
С помощью Power Query & (в Excel) и Power Pivot в Excel вы будете тратить меньше времени на обработку данных и больше времени на их влияние. Для ознакомления посмотрите это 2-минутное видео.
Попробуйте сами
Независимо от того, небольшие или крупные наборы данных с миллионами строк, вы можете быстрее подключаться, очищать, анализировать данные и делиться ими с помощью Power Query (или получить & Transform в Excel) и Power Pivot.
Вопросы и ответы
С Приложения Microsoft 365 для предприятий приложение Excel на Windows для ПК предлагает все функции Power Query и Power Pivot, которые улучшают аналитику и моделирование, могут использовать расширенные возможности подключения к данным и эффективно обмениваться данными в организации. Дополнительные сведения о доступности Power Query и Power Pivot см. ниже и узнайте у ИТ-группы, поддерживает ли ваш текущий план Office эти функции.
Основные функции бизнес-аналитики
Основные функции аналитики доступны для Microsoft 365 подписки или Office 2016. К таким функциям относятся срезы, срезы, диаграммы и возможности модели данных. С помощью Power Query можно импортировать, формировать и объединять данные из файлов, баз данных и веб-сайтов. Поддержка базовой модели данных позволяет загружать данные в модель данных, автоматически обнаруживать связи, добавлять группировку по времени и создавать показатели DAX.
Дополнительные сведения о том, как получить наилучшие результаты, см. в этой Office.
Расширенные функции бизнес-аналитики
Расширенные возможности аналитики доступны в Приложения Microsoft 365 для предприятий, Office 2019 Professional, Office 2019 Professional Plus и Excel 2019. Помимо основных функций аналитики, с помощью Power Query можно импортировать, формировать и объединять данные из корпоративных, больших данных и облачных источников данных, а также делиться запросами. Поддержка расширенных моделей данных в Power Pivot включает специальный редактор моделирования данных, представления данных, вычисляемые столбцы DAX, ключевые показатели эффективности и иерархии.
Дополнительные сведения см. в источниках данных Power Query в Excel версияхи Где находится Power Pivot?
Excel 2016 для Mac и Excel 2019 для Mac имеют множество основных функций анализа, перечисленных выше: срезы, диаграммы и основные возможности импорта. У них еще нет Power Query или Power Pivot, но мы постоянно улучшаем Excel на Mac. Excel для Microsoft 365 для Mac предлагает ограниченную поддержку Power Query.
Дополнительные сведения см. в этой Excel для Mac.
Power Query обеспечивает быстрый и простой сбор и формирование данных. Power Query позволяет подключать, объединять и уточнять источники данных в нужных для анализа запросах. Power Query можно использовать в четыре этапа:
Подключение Импорт данных и подключение к данным в облаке, в службе или локально.
Преобразовать Формировать данные в нужном виде, а исходный источник остается без изменений.
Объединить Дополнительные формы данных путем их интеграции из нескольких источников для получения уникального представления данных.
Нагрузки Выполните запрос и сохраните его на компьютере или в модели данных.
Дополнительные сведения см. в справке по Power Query в Excel и Power Query для Excel.
Возможность Power Pivot предназначена для эффективного анализа и создания сложных моделей данных. С помощью Power Pivot можно работать с большими объемами данных из различных источников одновременно, быстро анализировать их и распространять результаты. Вы можете использовать модель данных и коллекцию таблиц, чтобы создавать связи, сохраняемые в книге. Модель данных тесно интегрирована с другими функциями Excel, например таблицами и сводными таблицами, чтобы обеспечивать удобный интерфейс анализа.
Дополнительные сведения см. в этой Microsoft Excel.
Power BI — это набор инструментов бизнес-аналитики для предоставления подробных сведений обо всей вашей организации. С помощью Power BI Desktop вы можете подключаться к сотням источников данных, упрощать подготовку данных и выполнять специальный анализ. Вы также можете создавать отчеты и публиковать их в организации для использования в Интернете и на мобильных устройствах. Все пользователи могут создавать персонализированные информационные панели с использованием всестороннего представления организации. Имеются встроенные средства управления и обеспечения безопасности.
Excel 2016 и Power BI Desktop предоставляют уникальный для отрасли набор инструментов. Вместе они позволяют бизнес-аналитикам легко собирать, формировать, анализировать и наглядно изучать данные. Power BI — это набор инструментов бизнес-аналитики для предоставления подробных сведений обо всей вашей организации. Он помогает всем сотрудникам организации объединять данные из различных источников: книг Excel, локальных корпоративных данных, служб Azure и других популярных облачных решений, таких как Salesforce.com или Marketo, чтобы просматривать и совместно использовать информационные панели и интерактивные отчеты.
Дополнительные сведения см. в Excel для Power BI.
Подписчики Microsoft 365 и Excel 2019 добавили улучшения в функции и функции, к которые вы уже привыкли.
Power Query: стероиды для MS Excel и Power BI
В данной статье я хочу рассказать о некоторых возможностях бесплатной и крайне полезной, но пока еще мало известной надстройки над MS Excel под названием Power Query.
Power Query позволяет забирать данные из самых разных источников (таких как csv, xls, json, текстовых файлов, папок с этими файлами, самых разных баз данных, различных api вроде Facebook opengraph, Google Analytics, Яндекс.Метрика, CallTouch и много чего еще), создавать повторяемые последовательности обработки этих данных и загружать их внутрь таблиц Excel или самого data model.
И вот под катом вы можете найти подробности всего этого великолепия возможностей.
Совместимость и технические подробности
Power Query доступен бесплатно для всех версий Windows Excel 2010, 2013 и встроен по умолчанию в Windows Excel 2016. Для пользователей MacOS X Power Query недоступен (впрочем, даже без этого маковский Excel отвратителен на ощупь и продвинутые пользователи, включая меня, чаще всего работают с нормальным Excel через Parallels или запуская его на удаленной виндовой машинке).
Также, Power Query встроен в новый продукт для бизнес аналитики — Power BI, а еще, ходят слухи, что Power Query будет появляться и в составе других продуктов от Microsoft. Т.е. Power Query ждет светлое будущее и самое время для адептов технологий Microsoft (и не только) заняться его освоением.
Как оно работает
После установки Power Query в интерфейсе Excel 2010–2013 появляется отдельная одноименная вкладка.
В новом Excel 2016 функционал Power Query доступен на вкладке Data (данные), в блоке “Get & Transform”.
Сначала, в интерфейсе Excel мы выбираем конкретный источник данных, откуда нам их нужно получить, и перед нами открывается окошко самого Power Query с предпросмотром первых строчек загруженных данных (область 1). В верхней части окошка располагается Ribbon с командами по обработке данных (область 2). И в правой части экрана (область 3) у нас расположена панель с последовательностью всех действий, которые применяются к данным.
Возможности Power Query
У Power Query очень много возможностей и я хочу остановиться на некоторых из числа моих любимых.
Как я уже писал выше, Power Query замечателен тем, что позволяет подключаться к самым разным источникам данных. Так он позволяет загружать данные из CSV, TXT, XML, json файлов. Притом процесс выбора опций загрузки тех-же CSV файлов гибче и удобнее, чем он реализован штатными средствами Excel: кодировка автоматически выбирается часто правильно и можно указать символ разделителя столбцов.
Объединение файлов лежащих в папке
Power Query умеет забирать данные из указанной папки и объединять их содержимое в единые таблицы. Это может быть полезно, например, если вам периодически приходят какие-то специализированные отчеты за отдельный промежуток времени, но данные для анализа нужны в общей таблице. Гифка
Текстовые функции
Числовые функции
К столбцам с числовыми значениями по нажатию на кнопки на Ribbon можно применять:
Функции для работы с датами, временем и продолжительностью
К столбцам со значениями даты и времени по нажатию на кнопки на Ribbon можно применять:
Unpivot — Pivot
В интерфейсе Power Query есть функция “Unpivot”, которая в один клик позволяет привести данные с одной метрикой разложенные по столбцам по периодам к форме, которая будет удобна для использования в сводных таблицах (понимаю что трудно написал — смотрите пример). Также, есть функция с обратным действие Pivot. Гифка
Функция ВПР (VLOOKUP) одна из наиболее используемых функций в MS Excel. Она позволяет подтягивать данные в одну таблицу из другой таблицы по единому ключу. И вот как раз для этой функции в Power Query есть гораздо более удобная альтернатива — операция Merge. При помощи этой операции соединение таблиц нескольких таблиц в одну по ключу (по простому или по составному ключу, когда соответствие нужно находить по нескольким столбцам) выполняется буквально в 7 кликов мыши без ввода с клавиатуры.
Операция Merge — это аналог join в sql, и ее можно настроить чтобы join был разных типов — Inner (default), Left Outer, Right Outer, Full Outer.
Upd.Мне тут подсказали, что Power Query не умеет делать Aproximate join, а впр умеет. Чистая правда, из коробки альтернатив нет. Гифка
Подключение к различным базам данных. Query Folding.
Power Query также замечателен тем, что умеет цепляться к самым разным базам данных — от MS SQL и MySQL до Postgres и HP Vertica. При этом, вам даже не нужно знать SQL или другой язык базы данных, т.к. предпросмотр данных отображается в интерфейсе Power Query и все те операции, которые выполняются в интерфейсе прозрачно транслируются в язык запросов к базе данных.
А еще в Power Query есть понятие Query Folding: если вы подключены к совместимой базе данных (на текущий момент это MS SQl), то тяжелые операции по обработке данных Power Query будет стараться выполнить на серверной стороне и забирать к себе лишь обработанные данные. Эта возможность радикально улучшает быстродействие многих обработок.
Язык программирования “М”
Надстройка Power Query — это интерпретатор нового, скриптового, специализированного для работы с данными, языка программирования М.
На каждое действие, которое мы выполняем с данными в графическом интерфейсе Power Query, в скрипт у нас пишется новая строчка кода. Отражая это, в панели с последовательностью действий (область 3), создается новый шаг с говорящим названием. Благодаря этому, используя панель с последовательностью действий, мы всегда можем посмотреть как выглядят у нас данные на каждом шаге обработки, можем добавить новые шаги, изменить настройки применяемой операции на конкретном шаге, поменять их порядок или удалить ненужные шаги. Гифка
Также, мы всегда можем посмотреть и отредактировать сам код написанного скрипта. И выглядеть будет он примерно так:
Язык M, к сожалению, не похож ни на язык формул в Excel, ни на MDX и, к счастью, не похож на Visual Basic. Однако, он очень прост в изучении и открывает огромные возможности по манипуляции данными, которые недоступны с использованием графического интерфейса.
Загрузка данных из Яндекс.Метрики, Google Analytics и прочих Api
Немного овладев языком “M” я смог написать программки в Power Query, которые умеют подключаться к API Яндекс.Метрики и Google Analytics и забирать оттуда данные с задаваемыми настройками. Программки PQYandexMetrika и PQGoogleAnalytics я выложил в опенсорс на гитхаб под лицензией GPL. Призываю пользоваться. И я буду очень рад, если эти программы будут дорабатываться энтузиастами.
Для Google Analytics подобного рода экспортеров в разных реализациях достаточно много, но вот для Яндекс.Метрики, насколько я знаю, мой экспортер был первым публично доступным, да еще и бесплатным 🙂
Power Query умеет формировать headers для post и get запросов и забирать данные из интернета. Благодаря этому, при должном уровне сноровки, Power Query можно подключить практически к любым API. В частности, я для своих исследований дергаю данные по телефонным звонкам клиентов из CallTouch API, из API сервиса по мониторингу активности за компьютером Rescuetime, занимаюсь парсингом нужных мне веб-страничек на предмет извлечения актуальной информации.
Еще раз про повторяемость и про варианты применения
Как я уже писал выше, скрипт Power Query представляет собой повторяемую последовательность манипуляций, применяемых к данным. Это значит, что однажды настроив нужную вам обработку вы сможете применить ее к новым файлам изменив всего один шаг в скрипте — указав путь к новому файлу. Благодаря этому можно избавиться от огромного количества рутины и освободить время для продуктивной работы — анализа данных.
Я занимаюсь веб-аналитикой и контекстной рекламой. И так уж получилось, что с момента, как я познакомился с Power Query в ее интерфейсах я провожу больше времени, чем в самом Excel. Мне так удобнее. Вместе с тем возросло и мое потребление другой замечательной надстройки в MS Excel — PowerPivot.
Вот bi систему, про которую я рассказывал на Yac/M 2015 (видео) я делал полнстью при помощи Power Query и загружал данные внутрь PowerPivot.
Пару слов про локализацию
На сайте Microsoft для пользователей из России по умолчанию скачивается Power Query с переведенным на русским язык интерфейсом. К счастью, локализаторы до перевода на русский языка программирования (как это сделано с языком формул в excel) не добрались, однако жизнь пользователям неоднозначными переводами сильно усложнили. И я призываю вас скачивать, устанавливать и пользоваться английской версией Power Query. Поверьте, она будет гораздо понятнее.
Что такое Power Query / Pivot / Map / View / BI и зачем они пользователю Excel
Термины «Power Query», «Power Pivot», «Power BI» и прочие «пауэры» все чаще всплывают в статьях и материалах о Microsoft Excel. По моему опыту, далеко не все ясно представляют себе что скрывается за этими понятиями, как они между собой взаимосвязаны и как могут помочь простому пользователю Excel.
Давайте проясним ситуацию.
Power Query
Power Query встречается в двух вариантах: как отдельная надстройка для Excel 2010-2013, которую можно скачать с официального сайта Microsoft и как часть Excel 2016. В первом случае после установки в Excel появляется отдельная вкладка:
В Excel 2016 весь функционал Power Query уже встроен по умолчанию и находится на вкладке Данные (Data) в виде группы Получить и преобразовать (Get & Transform) :
Возможности этих вариантов совершенно идентичны.
Основное окно Power Query обычно выглядит примерно так:
Power Pivot
Общие принципы работы в Power Pivot следующие:
Главное окно Power Pivot выглядит примерно так:
А так выглядит Модель Данных, т.е. все загруженные таблицы с созданными связями:
У Power Pivot есть ряд особенностей, делающих её уникальным инструментом для некоторых задач:
К сожалению, пока что Power Pivot входит не во все версии Excel. Если у вас Excel 2010, то скачать её можно бесплатно с сайта Microsoft. А вот если у вас Excel 2013-2016, то всё зависит от вашей лицензии, т.к. в некоторых вариантах она включена (Office Pro Plus, например), а в некоторых нет (Office 365 Home, Office 365 Personal и т.д.) Подробнее об этом можно почитать тут.
Power Maps
Эта надстройка впервые появилась в 2013 году и первоначально называлась GeoFlow. Она предназначена для визуализации гео-данных, т.е. числовой информации на географических картах. Исходные данные для отображения берутся все из той же Модели Данных Power Pivot (см. предыдущий пункт).
Ключевые особенности Power Map:
Power View
Выглядеть это будет примерно так:
На сайте Microsoft, кстати, есть весьма приличный обучающий курс по Power View на русском языке.
Power BI
В Power BI Desktop можно:
Выглядит это примерно так:
На iPhone, например, созданный выше отчет выглядит так:
