Что такое cdc интернет
Подключение через USB-модемы 3G/4G/LTE
Любой Keenetic, у которого есть USB‑порт, работает с USB-модемами мобильного интернета 3G/4G. Все устройства в домашней сети могут одновременно пользоваться интернетом через один USB-модем.
Основной и/или резервный
USB-модем, который вы подключите к «Кинетику», может служить как основным и единственным средством выхода в интернет, так и резервным для для любого другого настроенного активного подключения. Вы даже можете резервировать один модем другим: на двухпортовых интернет-центрах подключая их непосредственно, а на моделях с одним USB-портом — через USB-хаб. В интернет-центре остается только указать, в какой последовательности модемы должны сменять друг друга или страховать проводного провайдера.
Совместимость и/или скорость
Современные USB-модемы 3G/4G/LTE умеют работать в нескольких режимах: RAS, CDC-Ethernet, NDIS. Если модем входит в число более чем 150 нами поддерживаемых, будьте уверены, что интернет-центр запустит его в оптимальном скоростном режиме (то есть CDC-Ethernet или NDIS, а не RAS). Кстати, мы единственные продолжаем поддерживать модемы Yota согласно спецификации Yota Ready, когда интернет-центр инициализирует LTE-модем и начинает раздавать интернет вообще без какой-либо настройки. Вставил и работай.
В первую очередь мы добиваемся совместимости с предоставленными нам операторскими модемами (на операторских прошивках). Алгоритмы универсальной поддержки не доступных нашей лаборатории модемов с разномастными альтернативными прошивками также постоянно совершенствуются.
Связь без капризов
Вы наверняка слышали, что интернет-центры Keenetic, в отличие от многих других роутеров, умеют управлять питанием USB-модемов. Зачем это нужно? Дело в том, что многие современные модемы — это самостоятельные устройства, которые стартуют и работают независимо от интернет-центра. С одной стороны, это хорошо. Но с другой, многие компактные USB-модемы рассчитаны главным образом на эпизодическую работу в ноутбуке, но не на круглосуточную работу, от которой они, увы, могут сбоить или зависать. С помощью функции Ping Check интернет-центр Keenetic сам обнаружит, что интернета по какой-то причине нет, и автоматически перезагрузит модем по питанию, чтобы связь появилась снова.
История CDC: нацистские врачи, ЦРУ и эксперименты на людях
Что общего у CDC (центр по контролю заболеваний), нацистских преступников, ЦРУ и экспериментах на людях? Ответ — очень много. И это не теория, а факты, причём в основном из Википедии.
Тёмное прошлое CDC: нацистские врачи и моральные принципы
Время создания CDC — 1946 год, вскоре после окончания войны. Именно тогда «выдающиеся нацистские ученые — врачи», заполнили все её лаборатории. Однако это событие ещё и совпадает с программой правительства США «Операция Скрепка». Она осуществлялась Управлением стратегических служб OSS (позднее ЦРУ).
После завершения II мировой войны армия США трудоустроила 1600 бывших нацистских ученых и врачей. Причём некоторые из них были близкими соратниками Гитлера. Эти люди были ответственны за убийства и эксперименты над людьми. Некоторых всё же осудили за военные преступления. Однако большинство было защищено от преступного прошлого американским правительством. Протоколы судебных заседаний были засекречены, чтобы защитить позорное прошлое «важных американских ученых».
Вопрос нацистского прошлого персонала CDC приобретает важное значение в связи с потрясающим расистски — фашистским действием.
Эта «вещь» полностью противоречит публичному представлению CDC как организации, заботящейся о людях и их безопасности. Если посмотреть глубже, становится ясно, что CDC и по сей день скрывает, эксперимент Таскиги.
Даже в то время подобные ужасы были очевидны для любого нравственного человека. Однако CDC не только продолжил исследование после того, как были подняты этические вопросы, но и подтвердил его в 1969 году. Кроме того, он заручился поддержкой местных медицинских групп, где оно проводилось, чтобы мужчины нигде не получали лечения.
CDC: пандемии, вакцины, неоправданные меры
Если начать разбираться, то выяснится, что CDC лжет по многим вопросам, связанным с вакцинами и пандемиями.
После 11 сентября и серии убийств с помощью сибирской язвы CDC провел законы о пандемии.
Эбола убивает 90%?
В настоящее время CDC утверждает, что эбола убивает 90% заболевших (что является ложью), максимально нагнетая страх и возможность пандемии эболы (как это было с «пандемией» свиного гриппа). Однако остальные организации придерживаются уровня от 25% (в среднем 50 %).
Ложь CDC о свином и сезонном гриппе
Данные CDC по свиному гриппу, использованные для навязывания общественности непроверенной вакцины, были завышены на 80-98%. Однако сразу после того, как телеканал CBS обнародовал реальные данные и показал, что угрозы нет, была объявлена чрезвычайная ситуация.
Всем известна история с фальшивой пандемией 1976 года в США. Было вакцинировано 40 миллионов!, о чём можно было прочитать на странице ВОЗ («Свиной грипп 1976 года: уроки прошлого»). Однако позднее эта статья была вымарана с сайта, что подтверждает Википедия:
CDC регулярно запугивал общественность ложью о гриппе, который может убивать в огромных количествах. CDC объявил, что беременные женщины должны быть первыми в очереди на вакцину, потому что свиной грипп представляет угрозу для их нерожденных детей.
Не было никаких доказательств этого, и Дж. Энтони Моррис, ученый — вакцинолог из FDA, которому было поручено изучить вакцину против свиного гриппа, заявил:
«Результаты исследования показали, что некоторые состовляющие вакцины против гриппа «могут представлять серьезную угрозу повреждения плода для женщин, которые могут забеременеть».
Доктор Моррис также сказал, что вакцина против свиного гриппа может вызвать серьезные аллергические и неврологические реакции. Она имеет очень низкую эффективность и совершенно не нужна, поскольку вирус был обычным свиным вирусом, а не высокопатогенным. «Он вымер в течение двух недель после обнаружения в феврале и больше нигде не встречался».
«Нет никаких доказательств того, что какая-либо из разработанных на сегодняшний день вакцин против гриппа эффективна в предотвращении или смягчении любой атаки гриппа. Производители этих вакцин знают, что они бесполезны, но все равно продолжают их продавать».
Между тем, ложный страх, созданный Центром по контролю и профилактике заболеваний (CDC) путем лжи о свином гриппе, заставил миллионы людей сделать прививки от свиного гриппа. CDC даже поручил врачам рекомендовать вакцину от свиного гриппа своим беременным пациенткам. Вакцина оказалась столь же вредной для плода, как и предупреждал доктор Моррис. По некоторым данным она вызывала 700%-ное увеличение смертности плода и выкидышей.
CDC также призывает родителей выбирать вакцину в виде назального спрея для детей от 2 до 8 лет. Однако CDC не говорит, что назальный спрей FluMist содержит живой вирус. В прививке от гриппа его нет.
ЦРУ и CDC
В 1987 году конгрессмены опубликовали информацию, что некоторые сотрудники CDC отправляются в Лэнгли, штат Вирджиния, на обучение в ЦРУ и возвращаются оттуда с грифом «совершенно секретно». Это означает, что они могут получить доступ к данным, которые недоступны для большей части федерального правительства.
«ЦРУ имеет теплые отношения с Центром по контролю заболеваний (CDC), что позволяет ему диктовать, что сообщать и даже какие данные предоставлять запрашивающим их исследователям. То есть CDC ведет несколько разных «книг» по заболеваемости и смертности, чтобы поставлять их разным «потребителям».
Cdc ethernet control model
3G/4G-модемы, подключаемые к интернет-центру Keenetic, могут работать в режимах: RAS, CdcEthernet и NDIS.
Для работы совместимых USB-модемов нужно в интернет-центре предварительно установить 3 компонента доступных компонента системы:
Сделать это можно в веб-конфигураторе на странице «Общие настройки» в разделе «Обновления и компоненты», нажав на «Изменить набор компонентов». Выполните установку указанных компонентов (из раздела «USB-модемы и модули расширения») или убедитесь, что они уже установлены.
Дополнительную информацию по установке компонентов системы интернет-центра Keenetic вы найдете в статье «Установка/удаление компонентов».
Обычно USB-модемы, работающие в режимах CdcEthernet и NDIS, после подключения к интернет-центру будут работать автоматически, и для них не требуется дополнительная настройка. Для модемов в режиме RAS потребуется ручная настройка параметров подключения. Необходимо будет вручную указать оператора и проверить настройки подключения.
1. Режим RAS, эмулирующий последовательный порт RS-232.
Режим RAS (Remote Access Service) предоставляет доступ в режиме модема. При подключении модема к интернет-центру в настройках автоматически создается интерфейс UsbModem. Для данного типа модемов требуется ручная настройка параметров подключения. В поле «Оператор» нужно вручную выбрать оператора сотовой связи, предоставляющего доступ в Интернет для вашего USB-модема. Остальные настройки параметров подключения к сетям различных операторов мобильного Интернета уже предустановлены в операционной системе Keenetic, и как правило, их не нужно менять.
Настройку модема можно выполнить в веб-конфигураторе на странице «Модем 3G/4G».
TIP: Примечание.
Для оператора Билайн (Россия) доступно два профиля – Билайн (USB-модем) и Билайн (Мобильный телефон). Если ваш модем не подключается к сети оператора, измените значение поля «Точка доступа (APN)» с home.beeline.ru на internet.beeline.ru
2. Режим CdcEthernet, эмулирующий порт Ethernet.
Некоторые операторы часто называют такой режим работы HiLink. В этом режиме USB-модем представляет отдельный роутер со своим собственным веб-интерфейсом. При подключении модема к интернет-центру в настройках автоматически создается интерфейс CdcEthernet. Эти модемы не требуют дополнительных настроек подключения и начинают работать сразу.
Если для USB-модема нужно произвести дополнительные настройки, сделать это можно подключив его к компьютеру, при помощи собственного ПО модема.
2.1. Режим CdcEthernet (эмулирующий порт Ethernet) со сменой IP-адреса домашней сети.
Встречаются модемы, которые в режиме CdcEthernet выдают IP-адрес из подсети 192.168.1.0/24, совпадающий с IP-адресом домашней сети интернет-центра Keenetic (по умолчанию в интернет-центре предустановлен IP-адрес 192.168.1.1). Начиная с версии операционной системы 2.03.С.4 в Keenetic была добавлена функция предотвращения конфликтов IP-адресов на WAN- и LAN-интерфейсах. Функция включена по умолчанию для USB-модемов типа CdcEthernet. При подключении такого модема Keenetic обнаружит конфликт IP-адресов, автоматически поменяет IP-адрес своей домашней сети на 192.168.2.0/24 и перезагрузится. Чтобы не гадать, какой IP-адрес имеет интернет-центр Keenetic (192.168.1.1 по умолчанию или измененный после подключения такого USB-модема 192.168.2.1), целесообразно открывать веб-интерфейс интернет-центра, указывая в веб-браузере не IP-адрес, а предустановленное имя my.keenetic.net. Проверить, изменился ли IP-адрес, можно в веб-конфигураторе на странице «Домашняя сеть» в разделе «Параметры IP».
NOTE: Важно! Если IP-адрес был изменен, рекомендуется физически отключить и заново подключить USB-модем к интернет-центру.
3. Режим NDIS (Network Driver Interface Specification).
В режиме NDIS происходит эмуляция виртуальной сетевой карты. Такие модемы выглядят со стороны Keenetic как дополнительная сетевая карта. При подключении модема к интернет-центру в настройках автоматически создается интерфейс UsbLte. Обычно такие модемы после подключения к интернет-центру будут работать автоматически, без дополнительных настроек в веб-конфигураторе. В режиме NDIS подключаются USB-модемы Yota. При необходимости дополнительную настройку модема можно выполнить на странице «Модем 3G/4G».
Если для USB-модема нужно произвести дополнительные настройки, сделать это можно подключив его к компьютеру, при помощи собственного ПО модема.
Пользователи, считающие этот материал полезным: 2 из 2
USB CDC Ethernet Networking Control Model (ENCM) interface collections have the following properties.
| Property | Description |
|---|
Universal Serial Bus Class Definitions for Communication Devices, version 1.1, Section 3.8.2.
Class of the master interface
Communication Interface Class (0x02).
Subclass of the master interface
One data class interface that the union functional descriptor (UFD) references.
The compatible IDs of this control model have a match in a Microsoft-supplied INF file. If the operating system does not find a match for one of the hardware IDs in a vendor-supplied INF file, the system automatically loads the native NDIS miniport driver to manage the interface collection.
Я, наивный, раньше думал, что протоколов общения с GSM-модемом на сегодняшний день существует не так уж и много. Пока не набрёл в Сети на одну занимательную PDF-ку с презентацией. Оказывается, оных технологий существует около десятка. Причём, как относительно «стандартных» и более-менее распространённых, так и всяких проприетарных и экзотических. Наглядно проиллюстрировать ситуацию можно так:
Если вкратце, то весь этот зоопарк сводится примерно к следующему.
Если интересно, сравнение стандартизированных протоколов (ECM, EEM, NCM) и RNDIS можно посмотреть вот здесь.
Как говорится, «оу май факинг гад»! Но это всё голая теория. А что мы имеем на практике и какой протокол / модем лучше выбрать для использования в повседневной нелёгкой админской жизни и на какие грабли можно наступить? Какие нюансы следует держать в голове и учитывать?
Теперь касаемо выбора конкретного железа. Из того, что на момент написания этого поста реально купить, достойны внимания четыре модели.
Что касается конкретно меня, то первые два типа «мопедов» у меня уже довольно давно и успешно трудятся на благо предприятия. Про остальные два больше ничего сказать толком не могу. Купил по штучке «на пробу», буду ковырять и смотреть как они себя ведут под реальной нагрузкой. Если у кого-то уже есть опыт использования одного из них, милостиво прошу поделиться своими соображениями. Потому что пока не могу решить кому бы отдать предпочтение при закупке следующей партии.
Три буквы, о которых Вы не знаете
Рассказывая людям на встречах и презентациях про технологию, относящуюся к области баз данных, я поражаюсь, какая огромная пропасть может быть между тем, чем человек занимается и в какой области он работает. Еще больше поражает, что такая пропасть может присутствовать и у технических специалистов. Я попробую пояснить – например, в карточке человека написано «Специалист по работе с базами данных», а на деле оказывается, что этот человек умеет настраивать бэкапы в RMAN-е, создавать индексы и перестартовывать инстансы. Все его знания в области баз данных умещаются в знание, как использовать эти три инструмента. Ах да, еще, конечно же, знание SGA. Поразительно, но возникает такое чувство, что человек определил себе рамки, в границах которых он что-то знает, а что происходит за этими рамками, ему кажется неинтересным и недостойным внимания.
Закончив с вводной частью на встрече и переходя к таким понятиям, как корпоративное хранилище данных, медленно меняющихся измерений, витрин данных и трехмерных OLAP-кубов, я начинаю видеть, как люди, отвечающие за бизнес, начинают лезть в карман за телефонами, делая вид, что им надо срочно ответить на сообщение или письмо. Но им простительно, у них есть свои не менее интересные аббревиатуры, над которыми им надо постоянно думать, как их улучшить – EBITDA, ROI, NPV, IRR. Однако технические специалисты не могут себе такого позволить, поэтому они принимают серьезный вид, который говорит о том, что сейчас будет проверка их умственных способностей.
Читая псевдонаучные журналы одного известного издательства о настоящем и будущем информационных технологий в России, пытающихся донести информацию до читателя в академическом виде, с долгим вступлением, а иногда даже и теорией, я так и представляю себе, как с появлением новой технологии открывается целая Вселенная возможностей, сулящая многие прибыли компаниям и несущая облегчение техническим специалистам. При всем этом, в жизни чаще встречаются люди, совсем слабо знакомые с теорией, но получившие свои знания практикой. Становиться неудивительным, что кругозор таких людей ограничен теми вещами, которые им удалось «пощупать» вживую. Что-то другое, находящееся за рамками практики, представляется темным лесом, а иногда даже мракобесием и казуистикой. «О чем вы говорите, какие Кимбаллы, при чем здесь Инмон? Это все плоды праздных размышлений, а нам тут работать надо!».
Хотя я увлекся, и Инмон здесь, наверное, действительно не при чем. Тем не менее, та технология, о которой я рассказываю, должна использоваться, как один из компонентов для построения решения. Не находя отклика в сердцах слушателей, я все-таки получаю вопрос от пытливых технических специалистов, более активных по сравнению со своими коллегами, и за счет этого, возможно, уже доплачивающих ипотеку 🙂 Вопрос этот непростой, а для кого-то даже сакраментальный. Звучит он примерно так – «А что думает на этот счет Oracle и как это работает?»
Если попробовать перевести эту фразу на русский язык, то получится следующее: “Change Data Capture эффективно идентифицирует и захватывает данные, которые были добавлены, обновлены или удалены из таблиц Oracle и делает эти измененные данные доступными для приложений или отдельных людей». Это формулировка хоть и отличается своей лаконичностью, однако не дает полного представления, какие выгоды технология CDC может предоставить своим потребителям.
А что думает на этот счет такой гранд информационных технологий, как компания IBM? Поддерживает ли она эту технологию и как её описывает в своих продуктах? К сожалению, я не смог найти хоть какого-нибудь полного описания на сайте IBM. Приведу здесь лучшее и, пожалуй, единственное, что я нашел:
«Технология Change Data Capture (CDC) с ведением журнала, которую IBM получила в результате приобретения компании DataMirror, реплицирует сведения о важнейших событиях, связанных с данными, в режиме реального времени, не влияя на производительность системы.»
После этого описания все, конечно же, должны понять, в чем суть технологии CDC и зачем она нужна. По крайней мере, на это рассчитывает компания IBM, если выкладывает подобную информацию на своем сайте. Я же сильно сомневаюсь, что описания подобного рода могут в чем-то помочь продвинуться в понимании, а тем более в использовании подобной технологии.
Именно по этой причине, я попытаюсь объяснить в этой статье, что же это такое и зачем это нужно. Представим себе, что у вас появилась необходимость отслеживать изменения данных, которые происходят в определенных таблицах в базе данных. Для чего это нужно, я объясню позже. И вот, в момент зарождения этой потребности, вы начинаете думать, как же это реализовать в жизни. На заре своего развития технология CDC предлагала следующие методы решения – добавляем новый столбец с временной меткой и, вуаля, теперь мы знаем, какие строки обновлялись после определенного времени. Но для этого мы должны прочитать всю таблицу, а если изменения происходят слишком часто, то это становиться накладным и долгим процессом, и есть ненулевая вероятность того, что вы можете потерять изменение. Чтобы не терять изменения, пробовали версионирование строчек, получили примерно тот же результат – работает, но плохо и ресурсозатратно. Да и к тому же, для того, чтобы эти методы воплотить в жизнь, необходимо менять логику приложения, а если приложение купленное, и никто в нем просто так что-то менять не даст? Эта проблема решилась с появлением триггеров – вешаем триггер на табличку, который будет отслеживать все изменения и записывать их в какую-нибудь промежуточную или даже конечную таблицу, хранящую необходимые изменения. Казалось бы, что еще нужно? Но нет, опять не то – теперь при любом изменении данных в таблице вызывается триггер, для обработки которого нужна вычислительная мощность, к тому же количество операций записи возрастает вдвое, и это в лучшем случае, а также возрастает сложность в сопровождении такой базы данных. Однако, некоторые продукты, предполагающие использование технологии CDC, до сих пор основаны на триггерах.
Поддерживаемые топологии можно увидеть на картинке:
Возможно, кто-то спросит — Почему бы не считывать изменения прямо из памяти (например, из Redo Buffer или Log Buffer), ведь это должно быть намного быстрее дискового чтения? Передавайте большой, пламенный привет Intel и архитектуре x86.
Необходимо заметить, что продукты, использующие технологию CDC для репликации данных, не являются полноценными ETL инструментами. Хотя они и позволяют проводить простые трансформации и фильтрации строк, однако этого недостаточно для того, чтобы обладать правом называть себя ETL инструментом. Тем не менее, они предоставляют доступ к данным для любых ETL инструментов с помощью ODBC, JDBC, JCA, OLEDB или просто записывая изменения в файл. Впрочем, сейчас все большую популярность набирает подход ELT, и технология CDC как раз соответствует концепции этого подхода – сначала репликация данных как есть, а уже потом их трансформация. Стоит также отметить, что некоторые известные ETL инструменты также пытаются встроить использование CDC в механизм извлечения данных. Однако они используют триггеры, а этот подход обладает многочисленными недостатками, перечисленными выше, и тут можно сказать, что использование CDC, основанного на триггерах не имеет смысла в продуктивных системах.
В этот момент в глазах слушателей загорается огонек робкой надежды на понимание технологической сути CDC. В принципе, больше информации техническим специалистам не требуется. Однако, тут, люди, отвечающие за бизнес, и обладающие некоторой прозорливостью задают вопрос:
А зачем он вообще нужен, этот CDC?
Этот довольно щекотливый момент времени в литературе называют кульминационным. Именно сейчас будут расставлены все точки над i, и станет понятным, имеет ли право на существование, и более того, на применение в реальной жизни, такая технология, как CDC. Наступает тот момент, когда можно сделать глубокий вздох и оглянуться по сторонам. Если в этот миг я замечаю на стене портрет президента компании, счастливо улыбающегося со своей яхты в камеру, то, в принципе, становиться понятным, что CDC в этой компании не было, нет, и, скорей всего, уже не будет. Впрочем, мода на портреты осталась только в госучреждениях, что дает надежду на то, что бизнес в России когда-нибудь станет цивилизованным.
Переходя к сути вопроса, я могу сказать, что самым очевидным применением технологии CDC в жизни является устранение нагрузки с операционных баз данных за счет вывода процесса формирования отчетности на отдельную базу (так называемую Operation Data Store). Можно объяснить это на примере – допустим, у нас есть база данных, с которой работает некоторое количество пользователей. Они заводят там заявки, ставят статус, уточняют, на какой стадии находятся эти заявки, закрывают их, исправляют, в общем, выполняют целый ряд действий. Это может быть CRM, ERP, автоматизированная банковская система, биллинговая система или даже POS-терминалы. Бизнесу необходимо понимать, в каком состоянии находятся заявки или другие сущности, хранящиеся в этой системе – счета, вклады, производство и т.п. Поэтому бизнес формирует отчет на периодичной основе, в котором отражаются все основные показатели, интересующие бизнес и необходимые для принятия дальнейших управленческих решений. Однако, вот незадача – во время формирования отчетности все пользователи замечают, что скорость системы значительно падает и становится некомфортной для работы. И тут на помощь приходит технология CDC – мы определяем, какие данные нас интересуют, т.е. отслеживаем изменения в определенных таблицах и применяем их к другой базе данных(ODS). А на ней уже и запускается процесс формирования отчетности. В итоге получается, что и овцы целы, и волки сыты – пользователи могут работать с системой заявок, а руководство может получать необходимые им для принятия управленческих решений отчеты в любое удобное время.
Второй вид применения технологии CDC вытекает из первого – мы можем использовать эту технологию для поддержания идентичной копии базы данных на случай восстановления после катастроф. Реализуется это следующим образом – мы отслеживаем все изменения, происходящие с данными в базе данных в первом дата-центре и применяем их в режиме реального времени ко второй базе данных, находящейся во втором дата-центре. Таким образом, при наступлении катастрофы у нас всегда есть идентичная копия первой базы данных, с которой мы можем продолжить работу, не прерываясь на восстановления базы данных с резервной копии. Технологию CDC в таком же контексте можно использовать для миграции на новые версии СУБД или для миграции с платформы Big Endian на Little Endian и наоборот. Применение CDC тут обладает неоспоримыми преимуществами, в числе которых можно назвать исключение необходимости прерывать работу бизнеса для выполнения таких операций, как миграция на новую версию или новую платформу. Так как отслеживание изменений и переливание необходимых данных происходит в режиме реального времени, то после проведения необходимого тестирования мы можем мгновенное переключиться на СУБД новой версии или на новый сервер, не заставляя бизнес останавливаться.
Есть еще один интересный случай, где технология CDC может быть востребована. Представим себе, что у компании есть центральный офис и несколько филиалов, разбросанных по стране. И в центральном офисе, и в каждом из филиалов есть свой кадровый отдел, который принимает на работу, увольняет и ведет учет сотрудников. Руководство этой компании хочет знать в любое время, кто же у них работает и на какой позиции. Для этого принимают решение внедрить MDM – создать единое место, где будут храниться сведения о сотрудниках, работающих в этой компании. Создается база данных MDM_HR, в которую стекаются сведения из базы данных центрального офиса, а также из баз данных филиалов. Однако, для того, чтобы сведения в базе данных MDM_HR были актуальными, необходимо создать такой механизм, который при изменении данных о сотруднике (например, изменилась позиция, зарплата, фамилия или же сотрудник уволился, а на его место пришел другой) менял эти же данные или добавлял новые в базу данных MDM_HR. В качестве такого механизма идеально подходят решения по репликации данных, использующие CDC. Теперь руководство компании, а также кадровый отдел может получить в любое время корректный и актуальный отчет о работающих в компании сотрудниках. Применение CDC в подобном ключе может относиться не только к кадровому учету – оно может быть использовано для задач, где есть распределенные данные, которые, тем не менее, сгруппированы по какому-то логическому признаку и требуется формировать отчет или отслеживать какие-то характеристики на основе общих данных, а не только их отдельной части. Это могут быть распределенные территориально склады, различные информационные системы и тому подобные вещи, требующие интеграции и консолидации данных для формирования правильной отчетности.
Самую интересную сферу применения CDC я оставил напоследок. Допустим, ИТ-директор в компании сумел убедить руководство в необходимости внедрения полноценного BI в компании. Он долго и убедительно рассказывал, что бизнес анализ необходим компании для принятия правильных и своевременных решений в финансовой сфере, финансового планирования и контроля, BI необходим для отслеживания эффективности маркетинговых и рекламных компаний, нужен, как воздух для установки и наблюдения за различными KPI, работе с партнерами, снижение логистических затрат, управления рисками и т.д. В конце концов, совет директоров решил, что все звучит не так уж плохо и почему бы не попробовать? BI решено было внедрять в несколько этапов – построение корпоративного хранилища данных, наполнение его данными, формирование витрин данных на основе этого хранилища, визуализация данных. И вот, построили корпоративное хранилище данных, определили, какие данные необходимо в него поместить и стали думать над тем, как эти данные можно загрузить в хранилище данных. Тут есть два пути – первый использовать ETL инструменты для извлечения данных, трансформации на промежуточном сервере и загрузки в хранилище данных. Однако такой путь обладает существенными недостатками – ETL процесс непостоянен и выполняется время от времени, что, во-первых, создает нагрузку на источники данных, а во-вторых означает, что данные в хранилище данных большую часть своего времени не соответствуют последним данным в источниках. Это достаточно серьезно огорчает бизнес — конкуренты не спят, и завтрашние новости бизнес должен узнавать не завтра с утра, а буквально сегодня вечером, т.е. вечером бизнес уже хочет знать, что же будет завтра. Для подобного анализа необходима доступность данных в режиме реального времени, мы должны проводить анализ на основе последних данных, только так мы сможем успеть за постоянно меняющейся обстановкой. Поэтому есть второй путь – отслеживать изменения данных на источниках и оперативно, в режиме реального времени загружать их в корпоративное хранилище данных. Для этого и используется CDC – мы определяем, какие изменения и в каких таблицах нам интересны, отслеживаем их и загружаем в хранилище данных, после чего трансформируем их уже внутри хранилища – так получается быстрее и эффективнее. Такой подход к наполнению хранилища данных называется ELT – Extract-Load-Transform. Потребность доступа к данным в режиме реального времени постоянно растет среди компаний, особенно высокая потребность такого доступа наблюдается в финансовом и банковском секторе, так как конкуренция в этом секторе изначально высокая, следовательно, растут требования к получению данных с низкой задержкой.
Конечно, все варианты использования CDC не ограничиваются только вышеперечисленными. Есть и другие задачи и потребности, для которых CDC также востребован. Рассказывая про CDC, можно легко поддастся искушению и уйти в такие возвышенные дали, как построение корпоративного хранилища данных, MDM, формирование витрин данных, BI, интеграция и консолидация данных и т.п. не объясняя значения этих слов. Однако для бизнес людей все эти слова звучат подобно назойливому шуму и имеют для них смысла столько же, сколько выступление монгольского лидера перед народом на родном языке. Поэтому тут лучше всего перечислить использование CDC на конкретных примерах, как я попытался сделать это выше.
Подводя итог этой статье, а также встрече, я вижу все большую заинтересованность в технологии CDC со стороны бизнеса, когда он понимает, какие выгоды это может ему принести в будущем. Жестокая конкуренция диктует свои правила ведения бизнеса и если компания не может правильно расставлять приоритеты и оценивать свои силы, то она обречена на бессмысленное маневрирование, ведущее, в конце концов, к гибели компании. Если вы не работаете со своими данными, то вы теряете преимущество перед конкурентами, которые это делают.
Если посмотреть на CDC с технической точки зрения, то можно сказать, что это технология уже является зрелой и опробованной в ряде компаний. Она появилась не вчера и прошла достаточный путь для того, чтобы вырасти и использоваться в промышленных масштабах. Тем не менее, в настоящее время она до сих пор развивается – появляются новые подходы в использовании, учитываются современные требования, повышается быстродействие. Поэтому самое интересное – впереди!