Маленькая красная книжечка

Маленькая красная книжечка

XXXIII. Учёба Врагом учебы является самодовольство. Чтобы по-настоящему что-либо изучить, нужно прежде всего отбросить самодовольство. Мао Цзе-дун

1

Две трактовки текста

Имманентная (текст как к автономная реальность), нацеленная на выявление внутренней структуры текста. Репрезентативная (текст как особая форма представления знаний о внешней тексту действительности), нацеленная на выявление внешних отношений текста.

2

Структурные уровни текста

Фонемный (графемный) морфемный лексемный синтаксический семантический прагматический (функциональный, коммуникативный…).

3

Текст в информатике

Техноценоз - локальная совокупность технических систем в их отношениях между собойи с нетехническими факторами среды... Текстоценоз - текст в текстовой (виртуальной) реальности.... Текст - цепочка, составленная из символов некоторого конечного алфавита.

4

Электронный текст

Электронный текст - это текст в памяти компьютерной системы. Электронный текст – это текст в одной из компьютерных кодировок. Электронный текст - это текст в электронной компьютерной (программно-аппаратной) среде…

5

Двойное членение

План выражения - материальные средства для передачи языковых сообщений. Противополагается плану содержания Означаемое противопоставляется означающему: материальной стороне единиц языка, представленной буквами…. «психическому отпечатку, представлению, получаемому… посредством… органов чувств»

6

Шрифты в компьютере

Набор символов, созданный художником, набор металлических литер, используемых в типографской печати. Блок данных (или файл), состоящий из описаний отдельных символов набора.

7

Данные

Двоичные (бинарные) текстовые (представлены в виде кодов текстовых символов определенной кодовой таблицы многие программы и протоколы рассчитаны на работу только с текстовыми данными UUENCODE - метод представления любых двоичных данных в текстовой форме

8

Бинарные и текстовые

Целое число в текстовом и двоичном файле будет представлено в разных формах. Например: десятичное число 123: в двоичном файле: 01111011b в текстовом файле (ASCII): 00110001, 00110010, 00110011 Перевод из одной формы представления в другую осуществляется автоматически

9

Майм

MIME (multipurpose internet mail extensions): многоцелевое расширение интернет-почты технология передачи разного рода информации (картинки, музыка, фильмы и программы) внутри текстовых данных. Фундаментальный компонент коммуникационных протоколов (HTTP, FTP…)

10

Internet Media Types

типы данных, которые могут быть переданы посредством Интернета с применением стандарта MIME. text, message, image, audio, video, application, example, model (3D...), multipart (составной тип для форм с бинарными данными), vnd (вендорные файлы), x (нестандартные файлы), x-pkcs

11

Текст в компьютере

Для представления текста его символы кодируются двоичными числами. Кодировка символов - однозначное соответствие между набором букв и набором чисел. Существует множество различных кодировок символов

12

Аски

ASCII (american standard code for information interchange) использует семиразрядные числа (состоящие из 7 двоичных цифр и занимающие в памяти 7 бит). 27=128 чисел для кодирования символов американского английского ASCII-8 использует восьмиразрядные числа

13

Восьмибитные кодировки

8-битная ASCII-8 позволяет закодировать 256 символов (28). Windows 1251, LATIN-1 , ISO 8859-5, КОИ-8. Множество разных 8-битных кодировок породило проблему «кракозябр» - отображения документов в неправильной кодировке. В Chrome нет CP-866, а UTF-16 есть в Opera.

14

Юникод

UNICODE (UNIversal CODE) - стандарт 16-разрядного кодирования символов (1991) В 16-разрядном UNICODE можно закодировать 65 536 = 216 символов. UTF-16 (Unicode Transformation Format) — способ кодирования символов из Unicode в виде последовательности 16-битных слов. Позволяет отобразить 1 112 064 символов.

15

UTF-8

UTF-8 (Unicode Transformation Format, 8-bit — «формат преобразования Юникода, 8-битный») — одна из стандартизированных кодировок текста, которая позволяет хранить символы Unicode. UTF-8 изобретён 2 сентября 1992 года Кеном Томпсоном и Робом Пайком. UTF-32 кодирует до 231=2 147 483 648 позиций

16

Кодирование в UTF-8

Function EncodeUTF8(s) Dim i, c, utfc, b1, b2, b3 For i=1 to Len(s) c = ToLong(AscW(Mid(s,i,1))) If c < 128 Then utfc = chr( c) ElseIf c < 2048 Then b1 = c Mod &h40 b2 = (c - b1) / &h40 utfc = chr(&hC0 + b2) & chr(&h80 + b1) ElseIf c < 65536 And (c < 55296 Or c > 57343) Then b1 = c Mod &h40 b2 = ((c - b1) / &h40) Mod &h40 b3 = (c - b1 - (&h40 * b2)) / &h1000 utfc = chr(&hE0 + b3) & chr(&h80 + b2) & chr(&h80 + b1) Else ' Младший или старший суррогат UTF-16 utfc = Chr(&hEF) & Chr(&hBF) & Chr(&hBD) End If EncodeUTF8 = EncodeUTF8 + utfc Next End Function Function ToLong(intVal) If intVal < 0 Then ToLong = CLng(intVal) + &H10000 Else ToLong = CLng(intVal) End If End Function

17

Декодирование в UTF-8

Function DecodeUTF8(s) Dim i, c, n, b1, b2, b3 i = 1 Do While i <= len(s) c = asc(mid(s,i,1)) If (c and &hC0) = &hC0 Then n = 1 Do While i + n <= len(s) If (asc(mid(s,i+n,1)) and &hC0) <> &h80 Then Exit Do End If n = n + 1 Loop If n = 2 and ((c and &hE0) = &hC0) Then b1 = asc(mid(s,i+1,1)) and &h3F b2 = c and &h1F c = b1 + b2 * &h40 Elseif n = 3 and ((c and &hF0) = &hE0) Then b1 = asc(mid(s,i+2,1)) and &h3F b2 = asc(mid(s,i+1,1)) and &h3F b3 = c and &h0F c = b3 * &H1000 + b2 * &H40 + b1 Else ' Символ больше U+FFFF или неправильная последовательность c = &hFFFD End if s = left(s,i-1) + chrw( c) + mid(s,i+n) Elseif (c and &hC0) = &h80 then ' Неожидаемый продолжающий байт s = left(s,i-1) + chrw(&hFFFD) + mid(s,i+1) End If i = i + 1 Loop DecodeUTF8 = s End Function

18

Текстовый файл

Контейнер, хранящий текстовые данные. Представляет из себя последовательность символов, обычно сгруппированы в строки (lines, rows). Может содержать как форматированный и неформатированный текст.

19

Document Object Model

DOM (объектная модель документа) - не зависящий от платформы и языка программный интерфейс, позволяющий программам и скриптам получать доступ к содержимому текстовых документов, а также изменять содержимое, структуру и оформление таких документов.

20

Дерево DOM

Любой документ с помощью DOM представлен в виде дерева узлов, каждый узел которого представляет собой элемент, атрибут или объект (текстовый, графический, аудио, видео…). Узлы связаны между собой отношениями "родительский-дочерний".

21

DDE и OLE

DDE (Dynamic Data Exchange) - механизм извле- чения данных и взаимодействия программ. OLE (Object Linking and Embedding, oh-lay, олэй) — технология связывания и внедрения объектов в другие документы и объекты (1990). Позволяет создавать «составные документы» (compound documents) и передавая функции другим программам и возвращая результаты.

22

Component Object Model

COM (1993) - технология создания программного обеспечения на основе взаимодействующих компонентов, каждый из которых может использоваться во многих программах одновременно. Разработан Microsoft как основа развития OLE. OLE c 1996 года - ActiveX.

23

ActiveX

Activex — спецификация и framework создания функциональных приложений из различных программных компонентов. Activex позволяет программам (например, браузеру) использовать внутри себя программные компоненты и другие приложения, написанные на разных языках программирования.

24

Hypertext

Гипертекст - текст, представленный в виде ассоциативно связанных блоков, переход между которыми осуществляется с помощью гиперссылок. Термин, введённый Тедом Нельсоном (1963) для обозначения текста «ветвящегося или выполняющего действия по запросу».

25

Модель гипертекста

Определяется графом (граф - непустое конечное множество объектов и соединяющих их линий), в вершинах которого располагаются части (блоки) текста имеющие смысловую связь, фиксируемую ребрами графа. Использование гипертекста позволяет двигаться по тексту в любых направлениях, определяемых ассоциативными связями (нелинейный текст).

26

Распределенный гипертекст

Может быть расположен в различных частях компьютерной сети. Взаимодействие компонентов определяется протоколом HTTP HTTP (hypertext transfer protocol) – протокол описания процедур обмена блоками гипертекста.

27

Согласно статистике Archive

На январь 2013 средняя страница, из выборки среди первых 300 000 сайтов: имеет вес — 1280 КB состоит из 88 ресурсов (картинки, css, js) использует данные более чем из 30 сторонних сайтов.

28

HTML

Создание гипертекстов осуществляется с помощью гипертекстового языка разметки документов HTML (HyperText Markup Language) Главная задача HTML - гипертекстовая разметка обычных текстов. Актуальная версия HTML5 XML (eXtensible Markup Language)

29

Timothy John Berners-Lee

Британский учёный, изобретатель, автор WWW, HTML, HTTP, первого веб-сервера, первого сайта, первого браузера… Жив-здоров и работает над Web 3.0 (Semantic Web)

30

Зайти на страницу Google

Что же на самом деле произошло? Если Вы понимаете, как работают браузеры… Вы задействовали языки HTTP, HTML, CSS, ECMAscript и прочие сложные формальные системы, что голова пойдет кругом, если попробовать поглубже вникнуть в них… Давайте упростим….

31

Установим соединение

с www.google.com. Если Вы вы понимаете, как работают сети….. Вы только что задействовали DNS, TCP, UDP, IP, Ethernet, DOCSIS, OC и прочие сложные формальные системы, Голова пойдет кругом, если попробовать поглубже вникнуть в них…

32

Запустим текстовый редактор

Ядро, стек USB, диспетчер ввода/вывода, обработчик событий, шрифтовую подсистему, субпиксельный растеризатор, оконную систему, драйвера- переводчики видеокарты и прочее, созданное на высокоуровневых языках программирования, обработанное компиляторами, оптимизаторами, компоновщиками, интерпретаторами и проч...

33

Нажмем на клавишу

дебаунсер, мультиплексор ввода-вывода, стек устройств USB, логические вентили, бистабильные петли, селекторы создания банка регистров, контроллеры шины, декодеры инструкций и микрокоды планировщика команд, мультиплексоры адресов и данных, схемы таймингов, контроллеры памяти и др… Голова пойдет кругом от попытки вникнуть...

34

Упрощая снова и снова

Дальше программное обеспечение разработки логики микрочипа, такой сложности, что потребуется упрощать снова. Современные компьютеры настолько сложны в языковом отношении, что могут быть спроектированы и произведены только с использованием менее сложных компьютеров.

35

Языковая сложность

Все эти уровни сложности полностью скрыты и люди могут ими пользоваться даже не подозревая об их существовании Для подавляющего большинства пользователей нет ни малейшей возможности понять с чем они имеют дело. Но понимание ЯЗЫКОВОЙ СЛОЖНОСТИ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ …..

36

Запредельная сложность

Алексей Лисица и Борис Конев в Ливерпульском университете подтвердили гипотезу Пала Эрдёша использовав Plingeling, допускающую распределённые вычисления. Файл доказательства - 13 ГБ. Принимать на веру если нельзя проверить? Это проблема не науки, а нашего восприятия.

37

Коммуникативные проблемы

Людям технических и не-технических специальностей невыносимо тяжело объясняться друг с другом. Эффективного прямого общения не получается. Разрыв столь велик, что нет одного такого человека, который мог бы быть посредником между этими двумя группами.

38

Qu’ils mangent de la brioche

Если у них нет хлеба, пусть едят пирожные! Жан-Жак Руссо, «Исповедь ( (1766-1770) Мария-Антуанетта (1755—1793), супруга Людовика XVI с 1700 года

39

brioche

Бриошь - сладкая булка из сдобного теста на пивных дрожжах с добавлением масла. Мировую популярность бриоши приобрели благодаря Эдуарду Мане

40

John Warnock Chuck Geschke National Medal of Technology and Innovation

41

Язык не для людей

PostScript — полнофункциональный язык программирования. Программы на PostScript создаются другими программами В принципе ничто не мешает писать на нём программы для обсчёта графики, реализации численных методов решения математических задач и т. п.

42

Тьюринг-полный язык

Тьюригн-полнота: способность реализовать любую вычислимую функцию Тьюринг-полными формализмами являются неограниченные грамматики. Тьюринг-неполными формализмами являются конечные автоматы, примитивно рекурсивные функции, регулярные и контекстно-свободные грамматики

43

Иерархия Хомского (1959)

Грамматики делятся на 4 типа: тип 0. неограниченные грамматики — возможны любые правила тип 1. контекстно-зависимые грамматики. тип 2. контекстно-свободные грамматики. тип 3. регулярные грамматики — самые простые (эквивалентны конечным автоматам).

44

Контекстуальное…

Контекстно-свободные грамматики применяются для определения грамматической структуры в грамматическом анализе. Регулярные грамматики применяются для текстового поиска, разбивки и подстановки, в том числе в лексическом анализе.

45

Postscript и ASCII

Команды PS представлены в виде ASCII кодов. Для вывода пользовательских шрифтов они должны быть преобразованы в совместимый с PostScript векторный формат. RIP (Raster Image Processor) контроллер с поддержкой PostScript Level 3 для для плоттеров компании HP стоит $500.

46

Синтаксис PostScript

PostScript — интерпретируемый язык без синтаксического оформления программы. Из последовательности ASCII-символов по синтаксическим правилам формируются лексемы (tokens), из которых создаются выполняемые PostScript-объекты. Структура PostScrip-объекта: тип, атрибуты, значение.

47

Стековый PostScript

В основу модели вычислений языка PostScript положены принципы вычислений на стеках: стек операндов (operand stack), стек словарей (dictionary stack), стек вызовов (execution stack) и стек графических состояний (graphics state stack).

48

Словари PostScript

На основе стека словарей реализуется модель динамического связывания имен и значений. Стек словарей определяет текущий контекст для неявного последовательного поиска значений выполнимых имен. Модель данных включает: числа, строки, массивы, булевы значения, файлы.

49

Операторы PostScript

Манипулирования стеком операндов. Работы со словарями и стеком словарей. Манипулирования строками и массивами. Математические и логические изменения и анализа атрибутов объектов. Управления вычислениями и доступа к файлам.

50

Файл PostScript

Структура файла PostScript формируется структурными комментариями (начинаются с «%%» в начале строки). Файл PostScript состоит из четырёх частей: заголовка, пролога, тела и эпилога и заканчивается строкой «%%EOF». пролог, экспозиция, завязка, развитие дейст-я, кульминация, развязка, постпозиция, эпилог.

51

Postscript и type 1

ostscript и type 1

PostScript - язык описания страниц PostScript - стандарт в полиграфии и компьютерной графике PostScript описывает с помощью кривых Безье третьего порядка шрифты Type 1 Специ шфикация шрифтов Type 1 разработана и принадлежат Adobe

52

PostScript

PostScript использует декларативный метод разметки: общие особенности построения символа описываются отдельно от самого контура символа. Это гарантируют высокое качество растеризации при любой разрешающей способности выводного устройства.

53

Другие языки

PCL (Printer Command Language) — язык управления принтером Hewlett-Packard. В PCL1 для печати ASCII-символов, в PCL-X изображения в цвете. ESC/P (Epson Standard Code for Printers) — язык команд для управления принтерами. HPGL (Hewlett-Packard Graphics Language) языком управления принтерами и плоттерами.

54

TrueType

Создан в 1991 г. Apple и Microsoft, использует: Используют кривые Безье 2-го порядка Программируемый метод разметки TrueType: описание каждого символа состоит из набора команд программе-растеризатору, по принципу "пойди туда, сделай то..."

55

Программируемый метод

В теории делает возможной более точную и правильную разметку. На практике затрудняет процесс разработки настолько, что непосредственно в truetype шрифты вообще не разрабатываются, а получаются как преобразование шрифтов из других форматов.

56

Двойное членение

Текст как означаемое …. (на естественном языке в кодировке…) из двух слов Текст как означающее …. (на , выполненный в кривых Безье…) из восьми символов…

57

Гениально

Алан Тьюринг: «Модель математического текста есть машина, а не текст». Машина! – гениально. Через десять лет – уже фон-неймановские машины и принцип отделения программ, software, от железа, hardware….

58

Безье и Кастельжо

Кривые Безье разработаны в 60-х годах XX в. для проектирования кузовов автомобилей независимо друг от друга: Пьером Этьеном Безье из компании Рено, Полем де Кастельжо из компании Ситроен. Алгоритм де Кастельжо - рекурсивный способ определения кривых.

59

Кривая Безье второго порядка

60

Кривая Безье 3 порядка

61

Кривая Безье 3 порядка

62

Кривые Безье в графике

PostScript и основанные на нём форматы: Type 1 Adobe Illustrator Portable Document Format (PDF), Scalable Vector Graphics (SVG), Metafont, CorelDraw GIMP…. А также в SWF

63

Шрифты в Windows

Используются два типа шрифтов: FON (растровый, для иконок). TrueType (контурный). Вся информация о TrueType-шрифте хранится в одном файле с расширением TTF. Шрифты в папке Fonts из каталога Windows. Просмотр в программе Таблица символов

64

Растеризация

Для вывода векторного шрифта на растровые устройства (мониторы и принтеры) его необходимо растеризовать. Растеризация — это перевод изображения, описанного векторным форматом в пиксели или точки, для вывода на дисплей или принтер. Процесс, обратный векторизации.

65

Растеризация PostScript

В Windows можно использовать шрифты в формате PostScript Type1 с помощью программы-растеризатора Adobe Type Manager (ATM) Есть в Windows и встроенный растеризатор (автоматически конвертирует PostScript Type1 в формат TrueType.

66

Борьба с экранными искажениями

Хинтинги (наборы инструкций, улучшить форму символа, отображаемого на экране. Монохроматическое сглаживание - частичное закрашивания пикселей, не полностью перекрываемых линиями символа. Субпиксельное сглаживание — канальное управление субпиксели разных инструкции смежных согласований

67

Структурные уровни текста

Фонемный (графемный) морфемный лексемный синтаксический семантический прагматический (функциональный, коммуникативный…).

68

69

70