Бэк тестирование. Тестирование «бэк»- и «фронт-офисов

Databases are the inevitable part of such software products as online stores, banking system applications and so on. These can the databases of different types, for example, DB2, SQL, and others

In order to verify the correct work of database, it is performed server side testing which actually is backend testing.

Performing database testing, the specialists do not work with the graphical user interface (GUI), they proceed directly to analyzing the processes of execution of the request with specified parameters and receiving the correspondent answer from the server. With this purpose, JSON and XML can be used.

There are several phases of backend tests:

1. the delivery of SQL server specification;
2. the testing of design specification;
3. the implementation of the tests into the design with the help of SQL code.

Backend testing is the process of validation such database aspects as schemas, tables, indexes and keys, data storage procedure, the process of data duplication, server validation, etc. The tests are launched with the aim of preventing data corruption, deadlock, data loss and others. To check the work of databases, several types of tests are executed.

What are the types of databases testing?

• Non-functional testing
• Functional testing
• Structural testing

The special testing tools will help to simplify the verification procedure of the proper operation of databases. This can be TurboData, Data Factory, AETG, Data Generation and others.

What are the advantages of backend testing?

• Such a software testing ensures the full control over the test coverage.
• Backend checking promotes the detection of a bigger number of potential bugs even at the early stages of the development.
• With the help of backend testing, the specialists execute more detailed checking of the system, as the applying of black bow method is not allowed for this testing type.

Что Такое Backtesting?

Backtesting - это выполнение стратегии или сигнала на исторических данных. Вы «делаете вид» что исторические цены происходят «прямо сейчас» и смотрите, как бы работала стратегия при таком рынке. Чтобы провести backtest, необходимо выбрать стратегию и исторический диапазон, на котором вы хотите проверить эту стратегию. Обычно интересно протестировать стратегию на длительном периоде времени (месяцы, а иногда и годы).

Например, ниже приводится кривые баланса и плавающего баланса (equity) стандартной стратегии MA_ADVISOR (Пересечение Скользящих Средних), выполненной на истории за 2010 год EUR/CHF (3,5 миллиона тиков, 8 тиков в минуту), примененной на 15-минутном интервале, с количеством периодов для быстрого скользящего среднего 15 интервалов, для медленного 55, без стопов и лимитов, на 1-часовой диаграмме. Вы можете увидеть все «классические» проблемы стратегий на основе пересечения скользящих средних: она теряет на вялом рынке и хорошо работает только на выраженном тренде.

Вкладки, относящиеся к таблицам и оптимизатору, пустые.

Особое Предупреждение о Результатах Backtesting

Гипотетические или имитированные результаты производительности имеют определенные ограничения. В отличие от реальных финансовых результатов результаты имитации не представляют фактической торговли. Кроме того, поскольку торговые операции не выполнялись, результаты могут быть как завышенными, так и заниженными, так как в реальности существует влияние определенных рыночных факторов, например, таких, как недостаток ликвидности. Программы, имитирующие торговлю, в целом разработаны с задней мыслью о получении выгоды. Не утверждается, что какой-то счет получит прибыли или убытки, аналогичные показанным.

Ранее мы уже рассматривали вопрос об обязательных этапах разработки торговой стратегии для работы на фондовом рынке. Одной из наиболее важных стадий является тестирование производительности стратегии на исторических данных - бэктестинг. Сегодня мы поговорим именно о нем.

Что это

Говоря простым языком, бэктестинг заключается в запуске алгоритма торговой стратегии с использованием исторических финансовых данных. Алгоритм, обнаружив те или иные биржевые события («сигналы»), будет генерировать приказы на покупку или продажу финансовых инструментов - эти операции будут иметь связанный доход или убыток.

Общая величина дохода или убытка (profit and loss, P&L, PnL) за заданное в торговой стратегии время будет являться показателем успешности или неуспешности алгоритма.

Существует несколько целей, которых добиваются разработчики торговых программ, с помощью бэктестинга:

• Фильтрация - каждая стратегия имеет определенные показатели по призводительноси и эффективности работы, которые заложены в нее разработчиком. Соответственно, всякая стратегия, не позволяющая добиться поставленных целей, должна быть «отфильтрована».
• Моделирование - с помощью бэктестинга разработчики могут тестировать различные рыночные модели (изменение условий ликвидности, транзакционных издержек, скорости обработки приказов, задержки каналов и т.д.) без риска потери реальных денег.
• Оптимизация - с помощью «прогона» стратегии на исторических данных можно улучшить ее производительность в конкретных рыночных ситуациях.
• Проверка работоспособности - с помощью тестирования разработчик может понять, не были ли допущены ошибки при описании стратегии в программном коде.

Как видно, бэктестинг является полезным инструментом для разработчиков финансовых систем, однако корректно провести тестирование на исторических данных можно не всегда. Чем более высокочастотная стратегия должна быть реализована, тем сложнее корректно смоделировать воздействие тех или иных рыночных ситуаций и параметров конкретной биржевой площадки на общую производительность системы.

Заблуждения о бэктестинге

Известный эксперт по биржевой торговли, квант и разработчик биржевых роботов Майкл Халлс-Мур, убежден, что начинающие разработчики биржевых систем часто допускают ошибки при их создании из-за определенных заблуждений. В частности, эксперт приводит четыре таких заблуждения:

Ожидание столь же высоких результатов в будущем

Часто разработчик сталкивается с искушением внести изменения в параметры тестирования для получения более убедительных результатов.

При этом, если в случае исторических данных есть возможность изменить что-либо и точно спрогнозировать результат, то в «боевом» режиме робот может работать совсем не так эффективно. Необходимо замерять производительность стратегии при разных значениях входных параметров.

Использование «будущих» данных

В некоторых случаях создатели торговых стратегий включают в набор данных предположения о будущем положении дел на рынке. В случае ошибок в коде, неверном вычислении оптимальных параметров для стратегии или некорректном использовании экстремальных значений цен (максимумов и минимумов), запуск такой стратегии на реальном рынке может оказаться неудачным (это одна из самых частых причин того, почему на исторических данных стратегии работают эффективнее, чем в режиме реального времени).

Неверная оценка своей психологической устойчивости

При проведении тестов разработчик видит конечную производительность своего алгоритма. Если на определенном временном отрезке (скажем, год или пять лет) система приносит прибыль, то велик соблазн не обращать внимание на просадки депозита (полученные убытки), которые случались по ходу этого пути к успеху. Людям кажется, что они легко смогут пережить потерю 25% своих денег (ведь потом робот должен отыграться).

На практике далеко не всем хватает стойкости для того, чтобы пережить подобные моменты не совершив необдуманных действий (а если алгоритм допускает потерю 25% денег на истории, то и в реальности такая ситуация весьма вероятна), которые часто приводят к еще большим убыткам.

Какие параметры нужно учитывать

Разработчикам торговых систем необходимо учитывать множество самых разных параметров, которые могут оказать воздействие на конечную финансовую состоятельность той или иной стратегии.

Транзакционные издержки

Начинающие трейдеры часто обращают внимание только на производительность своего алгоритма непосредственно на рынке, но забывают учитывать сопутствующие расходы, которые могут нивелировать весь полученный доход. Наиболее очевидными затратами в данном случае будут являться комиссии за транзакции, взимаемые биржей и брокером (у ITinvest на некоторых тарифах сборы примерно соответствуют биржевым).

Проскальзывание и задержки

Проскальзыванием называют разницу в цене между той, по которой торговый робот намеревался осуществить сделку, и той, по которой она реально прошла. Для «доставки» приказа в ядро биржевой торговой системы требуется время. В случае высокоскоростных торговых роботов (HFT) на счету каждая миллисекунда, за которую цена может незначительно измениться, сделав сделку не столь выгодной (или невыгодной вообще).

Некоторые финансовые инструменты обладают большой волатильностью (их цена меняется часто), поэтому при работе с ними необходимо делать скидку на возможное проскальзывание.

Влияние ликвидности

При работе с относительно неликвидными инструментами торговец должен держать в голове возможное влияние, которое действия его торговой системы окажут на рынок. Если определенную акцию покупают и продают не так много людей, то приказ на покупку значительного числа таких акций может сильно изменить их цену. Во избежание подобной ситуации необходимо научить робота разбивать сделки на большое число небольших приказов, которые не могут сильно повлиять на рынок.

Типы торговых приказов

На работу торговой стратегии оказывают влияние и то, какие торговые приказы ее разработчик планирует использовать для совершения сделок. Чаще всего трейдеры прибегают к market-приказам и limit-приказам.

Приказ market («по рынку») выполняется немедленно по сформировавшейся на рынке в текущей момент цене финансового инструмента (акции, фьючерса , опциона и т.д.) Соответственно, при необходимостьи совершения крупной сделки, например, покупки большого числа акций, приказ market приведет к тому, что произойдет несколько сделок по разным ценам - на рынке может не быть нужное количество желающих продать акции по одной цене, тогда купив все их акции, робот перейдет к следующей предлагаемой цене и так далее.

Рыночные приказы являются агрессивным инструментом - они всегда будут исполнены, при этом конечная цена сделки остается неизвестной для торговца.

Приказы типа Limit позволяют роботу определять худшую цену, по которой имеет смысл проводить сделку. Такой приказ может остаться неисполненным (если на рынке не нашлось желающих продавать или покупать по указанной цене) или исполненным частично (не нашлось достаточного количества желающих), вследствие чего считается более пассивным средством совершения сделок.

Их плюсом, несомненно, является тот факт, что цена сделки заранее определена. Список текущих выставленных приказов типа Limit называется очередью заявок (Order book) и выводится в торговых терминалах отдельным окном.

При тестировании стратегии важно уделить внимание ее поведению при использовании рыночных и лимитных приказов. В том случае, если очередь заявок смоделирована неверно, торговая стратегия может показывать худшие результаты при работе в режиме реального времени, в сравнении с запуском на исторических данных.

Инструменты для бэктестинга

Существует довольно большое количество общедоступных систем, которые могут быть использованы для тестирования финансовых стратегий:

• MS Excel - знакомый всем и каждому Microsoft Excel может быть использован и для написания механических торговых систем. Большинство брокеров позволяют связывать этот инструмент со своими программными продуктами (выгрузка данных и генерация торговых сигналов с помощью VBA). Минусом подобного решения будет невысокая скорость работ, а плюсом бесплатность и быстрота реализации простых стратегий. Альтернатива - Open Office
• Matlab - программная среда, предназначенная для осуществления сложных вычислений. Существуют плагины для использования в биржевой торговле. С ее помощью можно создавать небольшие скрипты, которые тем не менее описывают довольно сложные стратегии. Минус - система платная и недешевая. Альтернативы для российского рынка TSlab и StockSharp . Также трейдеры используют для создания механических торговых систем продукты MetaStock , Wealth-Lab и Omega.
• C++/C# - языки программирования, которые широко распространены в финансовом мире. Постепенно популярность набирают Java и Scala.
• Встроенные инструменты торговых терминало в - в некоторых торговых терминалах есть встроенные средства для создания торговых роботов и бэктестинга стратегий. Соответствующий плагин можно установить в терминал SmartX . Для написания роботов используется скриптовый язык TradeScript .

Окно для бэк-тестинга плагина для создания роботов на TradeScript в терминале SmartX

Заключение

Бэктестинг является важнейшим этапом разработки торговой стратегии, без которого трудно рассчитывать на адекватную работу торгового робота в «боевых» условиях реального рынка. При этом важно понимать, что успешная работа стратегии на исторических данных не гарантирует столь же хороший результат при использовании в реальной торговле в режиме реального времени.

В дополнение к тестированию на исторических данных разработчикам стоит проверять работу программы в режиме реального времени - сделать это можно с помощью специальных тестовых торговых систем, которые предоставляют биржи и брокеры. С помощью таких безрисковых систем с виртуальными деньгами можно отладить реакцию робота на изменение условий на рынке - обычно данные в таких случаях предоставляют биржевые площадки (с задержкой или «прореженные»).

На сегодня все, спасибо за внимание. Будем рады ответить на вопросы в комментариях.

P.S. Если вы заметили опечатку или ошибку - напишите личным сообщением, и мы оперативно все исправим.

Я расскажу вам о том, как можно приобрести практический опыт торговли, для этого необходимо лишь свободное время.

Кроме объективной оценки результатов, полученных при тестировании вашей торговой стратегии, Вы приблизитесь к процессу непосредственного принятия торговых решений. В этом Вам очень поможет Бэк-тестинг торговой стратегии . Кстати, тестирование стратегии возможно и в автоматическом режиме, но я считаю, что трейдерам, не имеющим серьезного опыта торговли, проводить разработку торговой стратегии, и ее тестирование будет полезно в ручном режиме.

Давайте рассмотрим пример тестирования торговой стратегии в сжатые сроки за конкретный торговый период. Для проведения бэк-тестинга нам необходимы:

Программа технического анализа

Программа учета сделок и обработки статистики

Алгоритм работы, стратегия, план принятия торговых решений.

Программа технического анализа

Существует огромное число программ технического анализа, но мне лично привычна программа MultiCharts . Она простая и доступная. Существует масса массу более продвинутых программ, таких как Omega, ТС2000, TradeStation, которые можно найти в сети, но я привык работать с MultiCharts. Кроме того, вы можете найти её в сети бесплатно или скачать условно бесплатную версию, без какого-либо ограничения сроков ее использования.

Скачиваем и устанавливаем программу, нам потребуется непосредственно только MultiCharts.

После установки программы для отслеживания котировок, нам необходимы сами котировки. Их можно скачать на сайте брокера Финам в разделе «Экспорт котировок».

Затем, скачиваем в формате TIME, DATE, HIGH, OPEN, CLOSE, VOL, LOW, котировки выбранного вами актива. В нашем примере нам требуются котировки на фьючерс индекса РТС за последний квартал, на временном промежутке в 5 минут (см. Рынки на фондовой бирже России - РТС). Имеется возможность скачивать котировки на Ваш выбор всех доступных инструментов, и для всех доступных временных периодов. Остальные поля остаются без каких-либо изменений. Выбираем параметры и кликаем на кнопку, которая носит название - «получить файл».

Получаем текстовый файл с необходимыми вам котировками (рис.ниже):

Чтобы котировки залить в программу MultiCarts необходимо открыть программу QuoteManeger, которая выступает для нашего MultiCharts в роли источника котировок исторических данных. Затем требуется добавить биржу, или ее выбрать из существующего списка. При этом следует указать параметры торгов. С этой целью переходим в меню “Tools”, затем “Exchanges & ECNs”

Теперь добавим контракт. Пункт по следующей схеме Symbol - >AddSymbol - >Manually.

Кликаем ОК. Далее редактируем название инструмента. Рекомендую путаницы писать название инструмента, принятое на бирже, чтобы избежать путаницы. Проверяем соответствие на всех закладках Settingsи Session, Stock, PriceScale. Если все в порядке, жмем ОК!

Немного непосредственно об процессе импорта исторических данных. В окне QuoteManager правой кнопкой мыши выбираем наш инструмент и выбираем пункт ImportData ->ASCII

При ее запуске появится новое окно DataServerMode, вам необходимо выбрать Offline. Затем добавляем новый график по такому пути File -> New -> Chart Window

Распределение убытков

В некоторых случаях для расчета максимальных убытков, возникающих в результате влияния операционных рисков с заданным уровнем доверительной вероятности, используются статистические методы, основанные, как правило, на отличающемся от нормального распределении. Данный анализ требует сбора данных по операционным убыткам, классифицированных в разрезе причин убытков, таких как противоправная деятельность, проблемы с кадровыми ресурсами, организация сбыта, несанкционированные действия, организация процесса управления, технологическое обеспечение.

Используя такие данные и учитывая данные по соответствующей стоимости страхования и страхового возмещения, можно построить предварительный график распределения убытков, который затем следует доработать, принимая во внимание реагирование организации на риск.

Бэк-тестирование

В данном контексте бэк-тестирование заключается, как правило, в периодическом сопоставлении показателей подверженности риску организации с полученной фактической прибылью или убытком. Бэк-тестирование обычно применяется финансовыми институтами. Некоторые организации, в том числе многие банки, в своей текущей деятельности сопоставляют ежедневные показатели прибылей и убытков с результатами модели риска, чтобы отслеживать качество и точность своих систем оценки рисков.

2. Невероятностные методы используются для количественного определения влияния потенциального события на основе допущений о распределении такого влияния без указания вероятности возникновения события , поэтому они не требуют проведения отдельных расчетов вероятности. Наиболее часто применяют такие методы, как анализ чувствительности, сценарный анализ и стресс-тестирование.

Анализ чувствительности проводится для оценки влияния нормальных или обычных изменений потенциальных событий. В связи с относительной простотой расчета показатели чувствительности иногда используются в дополнение к вероятностным моделям. Анализ чувствительности используется в отношении операционных показателей (таких как влияние изменений объема продаж на время ответа горячей линии или число производственных дефектов), а также долевых ценных бумаг с применением коэффициента Р (для целей анализа акций р представляет собой отношение изменения цены отдельных акций по сравнению с изменением цены общего рыночного портфеля или его эквивалента, например индекса S&P 500).

Показатель чувствительности применяется для аппроксимации изменения стоимости в результате значительных изменений процентной ставки.

Сценарный анализ используется для оценки влияния одного или нескольких событий на достижение цели. Он может осуществляться при планировании непрерывности бизнеса или при оценке влияния сбоя в системе или сети и отражает воздействие этих событий на организацию. Сценарный анализ может выполняться в ходе стратегического планирования, когда руководство связывает показатели роста, риска и прибыли.

Стресс-тестирование. При помощи стресс-тестирования оценивается влияние событий, имеющих наиболее сильное воздействие. Стресс- тестирование фокусируется на прямом влиянии изменения одного события или одного действия, происходящих в экстремальных обстоятельствах, в отличие от исследования изменений в обычных условиях, как это имеет место в анализе сценариев. Стресс-тестирование обычно дополняет вероятностные методы для изучения результатов событий с низкой вероятностью и высокой степенью влияния, которые не могут быть адекватно представлены при использовании допущений о распределении результатов, используемых в вероятностных методах. Аналогично анализу чувствительности стресс-тестирование часто применяют для оценки влияния изменений событий в области операционной деятельности или изменений на финансовом рынке с целью избежания значительных неожиданных последствий и убытков. Стресс-тесты включают, например, оценку влияния быстрого и значительного увеличения числа брака в производстве продукции; изменения обменного курса; изменения цены фактора, лежащего в основе производного финансового инструмента; увеличения процентных ставок в отношении стоимости портфеля инвестиций с фиксированным доходом; увеличения цен на электроэнергию, оказывающих влияние на стоимость производства.

3. Сравнительный анализ. Некоторые компании используют методы сравнительного анализа для оценки конкретного риска в терминах вероятности и влияния в тех случаях, когда руководство стремится дополнительно обосновать решения о том, как реагировать на риск с целью снижения вероятности возникновения или влияния этого риска. Данные сравнительного анализа могут предоставить руководству сведения по вероятности или влиянию рисков, основанные на опыте других организаций. Сравнительный анализ также используется в отношении различных видов деятельности в рамках отдельного бизнес-процесса с целью определения возможностей оптимизации этого процесса.

Сравнительные данные могут быть следующих видов:

• внутренние - сравнение показателей одного департамента или подразделения с другими отделами в той же организации;
• конкуреитпые/отраслевые - сравнение показателей между прямыми конкурентами или более широкими группами компаний с аналогичными характеристиками;
• лучшие в своей категории - сравнение с аналогичными показателями компаний по разным отраслям.