Дмитpий Hecтepук

Блог о программировании — C#, F#, C++, архитектура, и многое другое

Archive for the ‘FPGA’ Category

Ключевые особенности FPGA

2 комментария

Многие из вас наверное видели, что Amazon запускает инстансы EC2 с FPGA на борту. Я сразу признаюсь, что я никогда не пользовался облаками Amazon: я использую только Azure, и то только потому что мне некоторый объем вычислительным мощностей дают бесплатно как MVP (которым я являюсь уже ажъ 8 лет!), а до этого у меня просто стоял свой собственный сервер в универе, про который мало кто знал пока через одно веб-приложение (MindTouch Core, если кому интересно) на сервере кто-то установил спамбота, и понеслась.

Короче, я не юзаю Амазон облако, да и в последнее время стараюсь поменьше заказывать с Амазона: сейчас ведь там продают очень многие ритейлеры, у которых есть свои сайты, соответственно я скорее куплю за ту же стоимость у них, чтобы им перепало побольше, а Амазону — нуль. Думаю причины сего поведения с моей стороны вы итак прекрасно понимаете — Амазон прекрасен для покупателя (хотя скорость доставки в Англии упала до неприличия), но вот к программистам они, судя по “среднему по больнице”, относятся как к шлаку. И да, понятно что есть продуктовые команды в которых все нормально, но судя по тому что пишут на Reddit, общее положение все же весьма бредовое. Если вы там работаете, можете меня поправить и рассказать как все шикарно.

Ах, да, тьфу ты, я на самом деле немного некорректно тут написал. Основная проблема моя с Амазоном не в этом, а в том что они не берут PayPal. Это как бы критично т.к. на мелкие покупки я трачу только свой disposable income, а он у меня весь на PayPal.

Че-то я отъехал от темы. Вроде пост был про FPGA.

Концепция dataflow

У нас есть много разных плохо коммутируемых парадигм разработки – например процедурная, объектно-ориентированная, функциональная. А есть парадигма, которую можно называть “потоковой”, а по-английски она называется словом dataflow.

Идея dataflow тривиальна как в танке: представьте, что входные данные в системе проходят через некий map-reduce, т.е. обработку потока этих данных с некоторыми критериями выборки. Например на вход могут прийти три числа и нужна их сумма, то есть

int sum(int a, int b, int c)
{
  return a + b + c;
}

Возникает вопрос: сколько времени занимает код выше? Если мыслить о том что написано выше в терминах C++, C#, Java или аналогичных языков, то код — то есть набор инструкций — будет транслирован в несколько вызовов add, и соответствено займет ненулевое время на выполнение.

Сколько займет тот же самый алгоритм на FPGA? Ну, если утрировать до боли, но он займет нуль времени. Сигналы a, b и c будут поданы на соответствующие схемы, который в момент на выходе выдадут результат. Никаких “инструкций” не произойдет.

Понимание того, что программрование FPGA — это конфигурирование интегральной микросхемы (я тут возможно путаю терминологию, поправьте если что), а не описание набора инструкций — это ключ к пониманию того, что собственно можно выудить из технологии FPGA и к каким она задачам применима. Сейчас мы как бы понимаем, что когда по проводам идут данные с бешеной скоростью (например, интернет на 10G), обычный CPU — даже самый навороченный Xeon — не сможет эти данные переварить содержательно, разбирая, например, коммуникационный протокол по которому идут биржевые данные. Но это только часть задачи.

Аппаратный параллелизм

Современный процессор, безусловно, поддерживает некоторый уровень параллелизма: у нас есть “многоядерность”, у нас есть т.к. hyper-threading, ну и конечно у нас есть SIMD, который помошает делать больше вычислений за счет больших регистров. Но, так или иначе, этот паралеллизм заранее лимитирован процессором: мы знаем, например, что на Xeon Phi (60 ядер по 4 аппаратных потока каждое) не имеет особого смысла запускать более 240 потоков и, более того, на обычных CPU мы не контролируем, какая задача ложится на какой поток: это обычно делает операционная система (в случае с Xeon Phi там используется свой собственный Linux).

Ситуация с FPGA несколько другая: там за один такт можно делать совершенно несвязанные операции, и количество таких операций лимитировано только количеством логических элементов на кристалле. Иначе говоря, FPGA способствуют такому масштабу параллелизма, о котором с обычными CPU остается только мечтать.

Это не значит, что FPGA дает самый лучший performance. У нас есть очень мощные модели параллелизма (например SIMT на GPU) с которыми FPGA не может бодаться в плане обработки больших объемов данных. Но и цель у FPGA немножко не такая: ведь на GPU каждый поток должен делать одно и то же (иначе теряется вся эффективность), а FPGA может на разных своих участках делать абсолютно разные вещи. Синхронизация между этими участками — это достаточно сложная задача, конечно, но with great power… ну вы поняли.

Да, еще один аспект, который нужно упомянуть — это тактовая частота. На CPU тактовая частота одна, и все задачи синхронизуются на нее. На FPGA вы можете использовать разные генераторы (по английски clock), т.е. сигналы разной частоты для разных задач. Тактовая частота FPGA в целом существенно уступает CPU, но сравнивать их напрямую не особенно интересно, т.к. они служат разным целям.

Концепция pipelining

Я не буду скрывать, что и на обычных Intel’евских CPU происходит много всякой магии вроде branch prediction. По сути, современный ассемблерный код, который выдает вам С++ компилятор с включенными оптимизациями, читать достаточно сложно про причине того, что количество “магии”, которое обычно вкладывается в погони за перформансом, огромно. Ассемблер можно читать разве что в идеальном мире, без оптимизаций.

Pipelining объяснить просто. Возьмем следующий код:

void mad(int* a, int* b, int* c, int* result size_t count)
{
  for (size_t i = 0; i < count; ++i)
    result[i] = a[i]*b[i] + c[i];
}

Вы наверное думаете что каждая итерация цикла for должна закончиться прежде, чем начнется новая. В контексте С++ вы правы, а в контексте FPGA — нет!

Представьте операцию a*b+c как микросхему, работающую под определенной тактовой частотой: на первый шаг, вы подаеет значения a и b и получаете их произведение. Потом надо бы прибавить c, а что в это время делает та часть которая умонжает. Думаете она простаивает и ждет пока завершится вычисление? А вот и нет! Эта часть схемы может брать и считать следующее произведение, т.е. a*b для следующей пары чисел a и b.

Вот это и называется pipelining: возможность сразу пропускать целый поток значений, не дожидаясь завершения всего вычисления. И, как вы надеюсь уже догадались, это приводить к существенному ускорению, т.к. является de facto еще одним уровнем аппаратного параллелизма.

Что такое SoC

SoC расшифровывется как System-on-a-Chip, и в контекте она подразумевает некую аггломерацию FPGA с обычными процессорами вроде ARMов. При этом эти процессоры не просто “сосуществуют на плате”, а ARM встроен прямо в FPGA.

А вот это уже интересно, т.к. на ARM мы просто ставим свою собственную ось (вопрос про то, можно ли туда поставить Windows остается открытым, т.к. MS как-то протормаживают в этом плане), и тем самым получаем на одном кристалле, по сути, полноценно-работающий компьютер — нужно только добавить оперативки и периферию (например PCIe, Ethernet, …) по вкусу. Собственно это должно объяснять почему это “system on a chip” — на одном кристалле все, что нужно чтобы выполнять какую-то экспертную задачу.

Покупка Intel’ем компании Altera, второго по размеру производителя FPGA, намекает на симметричное развитие Xeon’ов: идея в том чтобы воткнуть в процессор какой-нть FPGA и дать разработчикам программировать его и осуществлять взаимодействие между CPU и FPGA вместо того чтобы ходить по PCIe шине, как предлагает Amazon.

Кстати, покупка Altera может выйти сильным боком Российским производителям (в т.ч. ВПК и тем кто под санкциям). Причина проста — сейчас, Altera и в частности ее дистрибьютор Terasic — это коррумпированая Тайваньская лавочка, которая вышлет что угодно и куда угодно, в то время как лидер рынка, Xilinx, каждую закупку пропускает через DoD на предмет санкций, dual use и так далее. Если Intel начнет себя вести так же, настанут очень веселые времена. Или вы думаете что в РФ у кого-то есть производственные мощности для импотрозамещения? Ну-ну.

Высокоуровневый синтез

HLS (high-level synthesis) — это не что иное, как кодогенерация VHDL/Verilog из более популярных языков вроде С++ и SystemC. Последний — этот тот же С++, как мне видится, только с некоторым набором конструктов для системного мира (например fixed-point types).

HLS подходов очень много, и объединяет их то, что все они генерируют очень сложную к прочтению и пониманию кашу, которую уже некомфортно читать. Помимо этого, наивно полагать что вы можете взять уже существующий С++ и просто нажать кнопочку “сделать мне хорошо” — вы не можете так просто поменять процедурную парадигму на поточную. Возможность писать что-то новое на С++ дает, разве что, варианты портирования этого “что-то” на x86 и иже с ним, но опять же, непонятно что это дает — разве что тестировать это можно быстрее, да и в Cling-е гонять.

Лично я склонен думать, что у HLS будущее, и что HDL’и должны отмереть за их чрезмерной низкоуровневостью. Но пока что, они — лучший способ описать, что и как должно произходить в системе. ■

Written by Dmitri

11 декабря 2016 at 22:00

Опубликовано в FPGA

Tagged with , , ,

Разработка под FPGA бесит, но что делать?

2 комментария

В моем предыдущем посте, я жалуюсь на FPGA но, как вы знаете, нытьё я не люблю — если что-то не нравится, нужно это что-то менять. Но для того чтобы понять что конкретно не нравится, нужно описать проблемы, что и будет в этом посте.

Давайте для начала сформулируем несколько банальных отличий HDL языков от обычных языков вроде С или С++. Тут все до боли банально:

  • HDL языки позволяют писать как последовательный (как и С) код, так и код который выполняется параллельно в конструкции, которую они называют process но на самом деле мы можем назвать как “условно-бесконечный while(true)”. На самом деле я лукавлю, т.к. этот бесконечный цикл работает не постоянно, а на основе событий (изменений сигналов), но это сводит его к обычному event loop в одном аппаратном потоке. Никакой магии тут нет.

  • HDL языки позволяют из маленьких логических компонент строить более сложные путем “соединения проводков” между разными элементами дизайна. Это конечно красиво, но это можно делать и в обычных языках путем правильной записи переменных. Разница лишь в том, что касательно HDL переменные — это то что ты присваиваешь последовательно (не очень-то эффективно), а параллельно присваиваются сигналы.

  • HDL языки, когда им нужно один компонент несколько раз разместить в схеме, используют статическую кодогенерацию (generate statement) которая конечно очень круто, с одной стороны, но с другой стороны — весьма тривиальная вещь которой вообще не стоит гордиться.

  • HDL языки можно симулировать прежде чем заливать в FPGA. Это конечно классно, но то как это выглядит — не особо удобоваримо.

Все это выглядит так, как будто над нами издеваются, причем жестко: ничего в списке выше не требует создания нового языка. Экосистемы — да, конечно, но языка — увольте, это какое-то безумие. Вместо этого, один из языков который можно использовать — это SystemC. Другой, который наглая Altera (читай Intel) дает использовать только на некоторых, б-гоизбранных платах, это OpenCL — да-да, та самая поделка которая програла CUDA войну за GPU.

Один из вариантов — это адаптировать Тлён для кросс-компиляции в VHDL, но для этого нужно сначала обсудить самые простые особенности, например типы данных.

Типы данных в VHDL

Вот список типов которые есть в VHDL (ну или в SystemC или чем-то аналогичном):

  • bit — вот эта штука действительно 0 или 1, тут не поспоришь.

  • bit_vector — это, соответственно, произвольный набор бит. Например bit_vector(0 to 8) делает вам целый байт! Количество битов можно самому выбирать, что очень хорошо ложится на Rust-образное описание целочисленных значений.

  • std_logic (VHDL) / sc_logic (SystemC) — понятие “логическое значение”, что на самом деле просто перечисление в котором есть как варианты 0/1 так и другие, причем в SystemC вариантов логического значения 4, а в VHDL – целых 9! Формально, посторонние значения нужны для симуляции, но есть также понятие tri-state logic (когда сигнал вообще ни к чему не подключен).

  • std_logic_vector это соответственно целый набор этих логических значений.

  • sc_fixed (SystemC) — возможность делать fixed-point arithmetic. Это пока вообще не доступно на С++ и подобных, разве что вы сами библиотеку напишете. Не то чтобы это сложно, но тут это “в железе”.

  • integer/float/wtf — возможность не только выделять нужный объем бит, но и делать всякие операции вроде сложения и даже умножения и деления (хотя эти две операции – не очень дешевые).

  • character — восьмибитная буква (ASCII). Все конечно хорошо, но…

  • string — я сейчас даже не буду говорить про то, что в VHDL, “010101” это одновременно и строка и bit_vector и std_logic_vector, просто скажу что строка на FPGA конечно же нединамическая. То есть tweet : string(1 to 160) дает нам фиксированный массив букв.

Естественно что работать без std::vector/set/map очень больно. Точнее, возможно кто-то скажет что так и надо, что мы описываем электрическую схему, которая не может просто аллоцировать и деаллоцировать память как хочется. С другой стороны, мы не маленькие и понимаем что в принципе можно выделить большое количество регистров и потом пытаться трекать общую длину полезных данных на этом поле.

Последовательность и параллелизм

То, как VHDL делит последовательные и параллельные конструкты – в корне неправильно. По идее, должно быть так: за один такт часиков мы хотим сделать ABC. Потом, мы хотим сделать DEF. Вот как-то так. А не перемешивать все в одной куче. Но тут есть один нюанс.

Нюанс в том, что в качестве сигнала изменения может быть не только clock, но и сигнал, который просто поменял своё значение. Например кто-то на кнопочку нажал. А вот это уже существенно ломает как мозг, так и нашу модель.

Вообще, если вы почитаете интернеты, по поймете что делать все “в один такт” на FPGA не реально. И помимо этого, есть еще пренеприятнейшая проблема которая называется glitching. Я сейчас не буду вдаваться в детали, но проблема в том, что даже имея схему которая дает детерминированный результат, из-за того что переход уровней сигнала идет не моментально, у вас может возникнуть ситуация, в которой на какие-то несколько наносекунд сигнал перейдет в состояние, которое не согласуется с тем, что должно быть на выходе. Сейчас найду видео… вот, ловите.

Так вот, о чем я… да, с одной стороны массовый паралеллизм, с другой стороны все равно не на глобальном масштабе, что впрочем итак нереально ввиду того, что описывать комбинаторно алгоритмы — это мучительно. Да, можно развить бешеную скорость относительно CPU, но… вообщем я оставлю эту дискуссию на будущее.

Что делать-то?

Тулы делать, товарищи. Тулы. На текущий момент симулятор выглядит как-то вот так:

Ничего странного не замечаете? Тут линиями показаны уровни сигнала – 0, 1, иногда U (уровень неизвестен). И вообще, в классической логике уровней сигнала всего два: 0 или 1, false или true. В std_logic их девять. И да, эти безумные типы для симуляции и прочего.

Короче, для начала нужен симулятор которые воспринимает VHDL (или Verilog, мне все равно) как последовательно-паралелльную программу, и позволяет ее гонять и дебажить примерно так же, как Visual Studio со всякими там Parallel Stacks и иже с ним. Это вполне реально написать, причем за не очень большие сроки.

Вторая часть уравнения — это сделать все это еще и на девайсе. Все равно то, что мы делаем когда захватываем несколько тысяч сэмплов с FPGA — это по сути historical debugging a la IntelliTrace. То же самое.

Короче, решение этой проблемы простое — нужно просто переделать все на высоком уровне. Лучше всего — выкинуть на помойку VHDL/Verilog, взять OpenCL (его кстати уже поддерживают некоторые, богоизбранные платы) и воткнуть все это в какую-нибудь вменяемую IDE (например IntelliJ). Profit! Но не тот профит к которому привыкли тул вендоры, т.к. FPGA, как показывает практика, это технологически закрытая тема, там новых игроков не любят.

Вообщем что-то нужно делать. Я пока еще думаю, как все эти мысли конкретно описать.

Ложка дегтя

Заказал отладочную плату, она пришла в СПб DHLем, и понеслась Рассея матушка, безумная и беспощадная, втирать мне как я должен 100 штук бумажек вручную оформить чтобы все это ввезти… вообщем поедет она назад в Тайвань, а оттуда куданть еще. Мой вам совет: заказываете железки обычной почтой. На обычную почту не смотрят. ■

Written by Dmitri

29 октября 2016 at 0:55

Опубликовано в FPGA

Почему разработка под FPGA бесит

3 комментария

Сегодня я ходил на конференцию Joker (это Java конфа, так что не совсем моя тематика) и, в разговоре с (бывшими) коллегами из JetBrains, я упомянул что в разработке железа (всякие HDLи) настоящая катастрофа с тулами и производительностью разработчика. В этом посте я хочу немного раскрыть тему, рассказать про то, что вообще можно сделать с железом и почему же разработка под него так мучительна.

Status Quo

Мы живем в мире, где доминируют микропроцессоры, работающие на основе инструкций. Самым популярным набором инструкций является конечно x86, но есть и другие варианты. Эта технология, если говорить конкретно про Intel’евские i7 и Xeon’ы, обкатана, хорошо работает, и самое главное она везде, что гарантирует некую совместимость, на тот случай если вы поставляете софтварный продукт.

Поверх x86 есть еще ряд технологий, которые выдают аппаратную оболочку через софтварный API: это например OpenGL и DirectX для игр и CUDA для обобщенных вичислений на графических картах компании NVIDIA. Это из того что популярно и хоть где-то используется — например, Adobe в своих видео продуктах использует Mercury Engine, которая как раз амортизирует CUDA (умеет ли она использовать OpenCL — не знаю, не уверен).

В целом, игровые карточки — это единственный пример железа, который докупается к компьютеру для ускорения производительности в некоторых сценариях. Ничего аналогичного не существует. Даже звуковые карточки канули в лету, да и на графику сам же Intel наступает, добавляя ее к процессору. Но с графикой — уникальная ситуация.

Аппаратные ускорители

x86 решает подавляющее большинство задач. К сожалению, есть задачи которые отдельно взятый процессор, даже самый дорогой Xeon решить по тем или иным причинам не может. Огромный поток данных, которые льются с биржи, не всегда реально обработать на CPU, а если и реально, то с большими задержками. Или аппаратное шифрование — то, что дает вам возможность использовать BitLocker или его аналоги: это отдельный модуль в компьютере.

Есть куча доменно-специфичных задач, которые можно ускорить железом. Также, некоторые структуры данных и алгоритмы, которые вы используете в C++, можно сделать быстрее в железе, т.к. в отличии от Intel процессоров, где уровень параллелизма заранее ограничен кол-вом ядер (ну и плюс “аппаратными потоками”, это я про hyper-threading итп), уровень параллелизма на FPGA массивен. Нужно только задачу найти.

Вообще, в контексте аппаратных ускорителей, я бы упомянул вот эти категории

  • GPGPU — вычисления на графических картах. Хороши только для численных вычислений (математика) и только для data-parallel вещей (там где нет брэнчинга).

  • Intel Xeon Phi — копроцессоры от Intel. Отдельная PCIe карта, на которой 60+ ядер (4 аппаратных потока на ядро), свой Linux, и которую можно использовать либо как компьютер-в-компьютере, либо в тандеме с хостом, отгружая часть данных для рассчетов.

  • FPGA — ПЛИСы или “вентильные матрицы”, технология реконфигурируемого комьютинга, которая позволяет по сути создать свой собственный процессор вместо того чтобы использовать готовый. Ест очень мало энергии. Поддерживает нереальную параллелизацию, но программируется на языках описания железа (Hardware Description Languages, HDLs).

FPGA решают очень много интересных задач и, будь они чуть развитее, на них бы все и писали. Но эта технология, как и вся хардварная область, не торопится становиться удобоваримой для обычных разработчиков.

Языки описания железа

Железо можно конечно описывать цифровыми схемами, но если учесть что на умножение двух 16-битных чисел может потребоваться 6000 логических ворот, это как-то некомильфо. Поэтому придумали другие языки (самый популярные — VHDL и Verilog), на которых описывается структура и поведение конфигурируемых цифровых систем вроде FPGA.

Проблема №1 этой затеи заключается в том, что вся работа идет на низком уровне. Это значит что нет:

  • Механизмов динамического управления памятью, и как следствие…

  • Динамических структур данных, таких как динамический массив/список/отображение

  • Стандартных алгоритмов (сортировка, поиск)

Короче, нет ничего, с чем мы обычно привыкли работать. Всесто этого, у нас есть совершенно другая модель, под которой мы моделируем движение электричества по системе. Впрочем, для этого нужно отдельную секцию нам с вами выделить, а так можно потеряться в этом безумном многообразии.

Модели описания поведения интегральной схемы

Для начала, следует понимать, что у нас есть два режима взаимодействия с железом, а именно:

  • Последовательный — это когда все те “инструкции” что вы написалы выполняются одна за одной. Это касается в основном присваивания переменных — а в разработке железа есть еще и “сигналы”, с которыми можно работать в параллельном ключе.

  • Параллельный — тут все самое интересное, т.к. можно описать поведение системы, в которой несколько вещей происходят действительно одновременно.

Соответственно мы, как разработчики железа, можем описывать и оптимизировать параллельно-последовательную структуру FPGA в одном приложении и, заметьте, что такие термины как “многопоточность” не имеют никакого смысла вообще, т.к. нет никаких “виртуальных потоков” в контексте одного аппаратного.

Одна вещь, которую мы не обсудили — это хранение в памяти. Точно так же как у CPU есть регистры, кэши разного уровня и RAM, на FPGA есть возможность хранить данные — прямо в логических ячейках или в RAM, если он вам предоставлен. То есть чисто теоретически, можно конечно пытаться строить динамические структуры, но что там по перформансу — я не знаю.

В чем проблема?

Субъективно говоря, разработывать на FPGA то же самое что на CPU раз в 100 сложнее. Вреня-деньги, и никто их не будет тратить на мучения.

Отчасти в катастрофическом, просто идиотском затыке виноваты чисто тулы, то есть EDA которые используются для разработки. Тулы воспринимают FPGA как электрическую схему с набором сигналов вместо того чтобы воспринимать ее как некоторый domain transform обычных программ в зону параллельного.

Вообще, как нынче модно на рынке, сюда могут забежать люди и сказать что де “меняй менталитет”, у нас все так, терпи или вон с рынка. Но мне кажется что нужно как раз больше думать про high-level synthesis: может кому-то и нравятся VHDL/Verilog, но все-таки нужно начинать с того чтобы переходить полностью на высокоуровневый синтез.

Я в какой-то момент пробовал MATLAB, но что-то мне подсказываeт, что будущее на FPGA за OpenCL. Но это решает только проблему языка: еще есть проблема отладки, в которой пока все почему-то считают что мы следим за уровнем сигналов, а не за агрегированным состоянием ООП-образных структур.

И да, объекты, товарищи! Я не настаиваю на присутствии v-табличке, но если мне нужно распарсить биржевой протокол, то лучше все это будет на каком-то вменяемом языке.

Про низкоуровневость

Чтобы реализовать устройство для ethernet на PCIe нужно по обе стороны реализовывать протоколы. Это ппц как сложно. Вот вы, вы хотите писать свой собственный драйвер? Я — нет. Я даже не знаю как все это устроено.

А ведь производители могли бы все разжевать и в рот полодить. Почему CUDA может, а FPGA производители — нет? Потому что им всем на нас плевать, и они ничего не понимают.

Ничего…

Со всем этим нужно бороться. Менять парадигму, выводить тулы строго в опенсорс (это хороший пример где проприетарщина == гниль). Всех несогласных закопать.

Я пишу feed handler. Детали будут позже. ▪

Written by Dmitri

17 октября 2016 at 21:08

Опубликовано в FPGA