1. Знакомство с мультимедиа

1.1. Ввод и вывод звука

1.2. Выбор и подключение звукового адаптера

1.3. Программы, работающие со звуком и видео

1.4. Подводя итоги

С тех пор как появились первые компьютеры, программисты и разработчики аппаратуры предпринимали многочисленные попытки научить их работать со звуком. Идея заставить компьютер разговаривать и понимать речь витает в воздухе, однако проблема распознавания речи далека от своего полного решения. Тем не менее, современные персональные компьютеры без особого труда превращают звук в цифры и наоборот.

Компьютеры Macintosh фирмы Apple имеют стандартное устройство, предназначенное для работы со звуком, для IBM PC и совместимых с ним персональных компьютеров нужно приобрести недорогой звуковой адаптер. С помощью встроенного или установленного дополнительно адаптера можно работать с монофонической или стереофонической звуковой информацией. Созданы многочисленные адаптеры, предназначенные для ввода и вывода видеоинформации, поступающей от видеокамеры, видеомагнитофона или аналогичного устройства.

1.1. Ввод и вывод звука

Для ввода звука используется устройство с названием аналого-цифровой преобразователь . Оно периодически преобразует аналоговый сигнал, поступающий от микрофона, магнитофона или другого источника сигнала, в последовательность чисел, представляющих собой мгновенные значения амплитуды сигнала (рис. 1.1).

Этот способ преобразования называется импульсно-кодовой модуляцией . В отечественной литературе вы можете встретить аббревиатуру ИКМ, однако в документации, которая поставляется вместе с SDK для Windows, для обозначения импульсно-кодовой модуляции используется аббревиатура PCM - Pulse Code Modulation .

Насколько часто нужно выполнять преобразование?

Это зависит от ширины спектра входного сигнала. Как известно, человеческое ухо воспринимает звуковые колебания в диапазоне частот примерно от 20 Гц до 16-20 Кгц, поэтому для передачи звука без искажений необходимо обеспечить преобразование сигнала с шириной спектра 20 Кгц. Существует теорема (носящая у нас имя Котельникова), согласно которой частота дискретизации сигнала должна вдвое превышать максимальное значение частоты сигнала. Следовательно, для передачи всего спектра звуковых сигналов, воспринимаемых человеком, необходимо выполнять преобразования аналогового сигнала с частотой не менее 40 Кгц.

Другой вопрос - с какой точностью следует преобразовывать аналоговый сигнал?

Казалось бы, чем точнее - тем лучше. Однако не следует забывать, что чем больше точность, тем больше двоичных разрядов используется для представления амплитуды сигнала и следовательно, тем больше памяти нужно для хранения записанной фонограммы. В хороших цифровых студийных магнитофонах для представления амплитуды сигнала используется не менее 16 разрядов, или 2 байта. Нетрудно подсчитать, что в этом случае при частоте дискретизации 40 Кгц для хранения одной минуты монофонической звуковой информации потребуется примерно 4,5 Мбайт памяти. Для стереофонической записи эту величину следует умножить на два.

Если вам нужно записывать только речь, можно ограничить ширину спектра сигнала величиной примерно 2,2 - 3 Кгц, что соответствует частоте дискретизации 4,4 - 6 Кгц. Кроме того, для представления мгновенной амплитуды сигнала вполне достаточно одного байта памяти. В этом случае для хранения одной минуты речи нужно 257 Кбайт памяти.

Для вывода звука используется цифро-аналоговый преобразователь (рис. 1.2), который может быть одноканальный (монофонический) или двухканальный (стереофонический).

На вход цифро-аналогового преобразователя поступает цифровой код, полученный от аналого-цифрового преобразователя и записанный в память компьютера. Разумеется, темп поступления кода должен соответствовать частоте дискретизации, в противном случае при воспроизведении неизбежны частотные искажения.

Для повышения производительности звуковой адаптер работает в режиме прямого доступа к памяти с использованием прерываний.

1.2. Выбор и подключение звукового адаптера

Для компьютера IBM PC и совместимых с ним создано много звуковых адаптеров. Это Sound Blaster, Sound Galaxy, Sound Vision, Microsoft Sound System и т. д. Они отличаются друг от друга по составу аппаратных средств, возможностям и цене. Как правило, все эти адаптеры предназначены для шины ISA, хотя есть устройства, подключаемые к принтерному или к последовательному порту компьютера. Выпускаются блокнотные компьютеры, оснащенные встроенным звуковым адаптером (и даже встроенным устройством чтения компакт-дисков).

Мы рекомендуем вам приобрести стереофонический адаптер для шины ISA, содержащий дополнительно музыкальный синтезатор, например, адаптер Sound Galaxy NX Pro. Если вы ограничены в средствах, купите 8-битовый адаптер, который обеспечит вполне приемлемое качество звучания. Если же вам нужно студийное качество, воспользуйтесь 16-битовым адаптером.

Особое внимание при покупке обратите на совместимость адаптера с операционной системой Windows версии 3.1. В комплект поставки должны входить драйверы для этой операционной системы. Учтите, что в состав Windows версии 3.1 входят драйверы не для всех звуковых адаптеров (есть драйверы для адаптеров Sound Blaster и AdLib). Другой важный критерий - аппаратная совместимость с адаптером Sound Blaster. Этот адаптер стал своеобразным стандартом для подобных устройств. Совместимость с Sound Blaster нужна для того, чтобы вы смогли использовать адаптер с играми, разработанными для MS-DOS, такими, как DOOM или Wolf3D, или с другими аналогичными программами.

Иногда на плате звукового адаптера устанавливают интерфейс устройства чтения компакт-дисков CD ROM. Если вы планируете приобрести сразу и звуковой адаптер, и устройство чтения CD ROM, лучше остановить свой выбор на одном из комплектов, добавляющих в компьютер возможности мультимедиа. В этот комплект, как правило, входит звуковой адаптер, микрофон, колонки, соединительные кабели, устройство чтения компакт-дисков CD ROM, набор драйверов для MS-DOS и Windows, а также несколько демонстрационных компакт-дисков. Стоимость такого набора может лежать в пределах 290-400 долларов, что не очень много.

При выборе типа устройства чтения CD ROM следует принимать во внимание формат данных, скорость передачи данных и время позиционирования. Формат данных должен соответствовать стандарту ISO 9660 (можно узнать из документации, которая поставляется вместе с устройством). Устройство чтения с одинарной скоростью обеспечивает скорость передачи данных, равную 150 Кбайт в секунду при среднем времени позиционирования порядка 250 миллисекунд. Есть также устройства с двойной скоростью (300 Кбайт в секунду). Ожидается появление устройств чтения CD ROM с еще большей скоростью передачи данных.

Скорость передачи данных критична для приложений, читающих с компакт-дисков видеофильмы и отображающие их на экране компьютера. Для проигрывания видеофильмов лучше использовать устройства с двойной скоростью, хотя в крайнем случае подойдут и устройства с одинарной скоростью. Если вы работаете с базами данных, записанных на компакт-дисках, основной вклад в задержку работы вносит процесс позиционирования при поиске и выборке информации, поэтому в этом случае двухкратное увеличение скорости передачи данных не приведет к двухкратному увеличению скорости работы.

Установка звукового адаптера

При установке звукового адаптера в компьютер вам нужно выбрать для него адрес на шине ввода/вывода, номер канала прямого доступа и номер прерывания. При этом нужно внимательно следить за тем, чтобы случайно не выбрать для звукового адаптера адрес, канал прямого доступа или прерывание, занятые другими устройствами компьютера. Конкретные рекомендации по установке зависят от типа звукового адаптера и приведены в документации, которая поставляется вместе с адаптером.

Если на плате звукового адаптера имеется контроллер устройства чтения CD ROM, следует также задать адрес порта ввода/вывода и номер прерывания для этого контроллера.

Ваш звуковой адаптер может также содержать порт для подключения джойстика (игровой порт). Если в компьютере уже есть один игровой порт (в адаптере принтера, последовательного интерфейса или в адаптере "мультипорт"), этот порт перед установкой звукового адаптера следует отключить во избежание возникновения конфликта на шине ввода/вывода.

Большинство звуковых адаптеров имеют встроенный музыкальный синтезатор, снабженный последовательным портом ввода/вывода в стандарте MIDI. К этому порту можно подключить внешний музыкальный синтезатор или музыкальную клавиатуру.

На рис. 1.3 мы схематически показали подключение звукового адаптера к различным устройствам, предназначенным для ввода или вывода звука.

Как правило, в любом звуковом адаптере есть один или два входа для подключения микрофона. По своей конструкции микрофоны бывают электродинамические, электретные и конденсаторные. Первые обеспечивают лучшее качество, но стоят дороже электретных. Покупая звуковой адаптер без микрофона, обязательно поинтересуйтесь у продавца, какой тип микрофона можно использовать вместе с этим адаптером. Некоторые адаптеры имеют два отдельных входа, предназначенных для подключения электродинамического и электретного микрофона, соответственно.

К выходу звуковой платы можно подключать головные телефоны или звуковые колонки. Мощность встроенного в адаптер усилителя может составлять порядка 4 Вт, что вполне достаточно, если, конечно, не использовать компьютер для озвучивания дискотеки. Если же вам нужна очень большая мощность, придется подключить внешний усилитель.

Если вы приобрели звуковой адаптер вместе с колонками, попробуйте заменить их на более мощные, например, такие как 15АС-201 (не забудьте поинтересоваться величиной сопротивления колонки, которое должно быть 4 или 8 Ом, иначе можно повредить усилитель звукового адаптера). Чем больше размер излучающей поверхности, тем выше качество звучания на низких частотах. К сожалению, качество звучания миниатюрных колонок, которые продаются вместе со звуковыми адаптерами, не может удовлетворить потребности взыскательного любителя музыки. Аналогичное замечание касается и микрофона. Если вам нужно высокое качество, используйте студийный микрофон и 16-разрядный звуковой адаптер.

В звуковом адаптере может быть предусмотрен вход для подключения к такой аппаратуре, как тюнер, проигрыватель звуковых компакт-дисков или магнитофон. На рис. 1.3 этот вход обозначен как "Линия".

Разъем "Порт MIDI/игровой порт" предназначен для подключения джойстика и внешнего музыкального синтезатора или музыкальной клавиатуры.

Для плавной регулировки громкости можно использовать регулятор, расположенный на плате звукового адаптера. Однако лучше воспользоваться электронным микшерским пультом, который есть в адаптере и который управляется программно.

Вы знаете, что в корпусе практически любого персонального компьютера есть динамик, способный издавать звуковые сигналы. Он подключается к основной плате компьютера. Многие программы, в том числе модули инициализации BIOS, операционная система MS-DOS и игровые программы используют этот динамик. Если вы приобрели звуковой адаптер, встроенный динамик вам больше не понадобится. Отключите от него провода, идущие к материнской плате. Один из этих проводов подключен к "земле" компьютера, второй - к выходному усилителю, который находится на основной (материнской) плате компьютера. Подключите этот второй провод к специальному входу, который есть на звуковом адаптере. Теперь вы сможете регулировать громкость звукового сигнала, так как он будет проходить через усилитель и микшер звукового адаптера.

Теперь о подключении устройства чтения компакт-дисков CD ROM.

CD ROM может подключаться либо к звуковому адаптеру, либо к отдельному адаптеру. Очень распространены, например, устройства CD ROM, имеющие интерфейс SCSI. Контроллер CD ROM, расположенный на плате звукового адаптера, рассчитан, как правило, на подключение только некоторых типов CD ROM, поэтому перед покупкой звукового адаптера или устройства чтения CD ROM поинтересуйтесь, будут ли они совместимы. Лучший способ застраховаться от несовместимости - покупать набор, состоящий из звуковой платы и устройства чтения CD ROM или покупать CD ROM вместе с предназначенным для него отдельным контроллером.

Вместе с устройством чтения CD ROM должны продаваться драйверы, в частности, драйвер для MS-DOS. Специальный драйвер для Windows не требуется, так как Windows имеет собственный драйвер, работающий через расширение MS-DOS, которое Microsoft поставляет в виде резидентной программы mscdex.exe. Эта программа входит в комплект поставки MS-DOS, но для ее работы требуется драйвер, который поставляется только вместе с устройством чтения CD ROM.

На корпусе устройства чтения CD ROM есть разъем для подключения головных телефонов и регулятор громкости. Разъем не предназначен для подключения колонок, так как встроенный в устройство усилитель имеет небольшую выходную мощность.

На задней стенке корпуса есть три разъема. Первый разъем нужен для подключения питания, второй - для широкого интерфейсного кабеля, третий - для подключения специального аналогового входа, который есть на звуковом адаптере (рис. 1.3). Этот аналоговый вход, так же как и вход от микрофона, линии для подключения динамика и внешней линии, подключен к микшеру, встроенному в звуковой адаптер.

Таким образом, обеспечивается возможность как раздельного ввода звуковой информации от перечисленных выше устройств, так и ввода смешанной в миксере информации. Например, вы можете установить в устройство CD ROM обычный звуковой компакт-диск, запустить его проигрывание, а затем записывать музыку с компакт-диска, с наложением речи при помощи микрофона.

Установка драйвера звукового адаптера

Процедура установки драйвера звукового адаптера, предназначенного для Windows, описана в документации, которая поставляется вместе с адаптером. Тем не менее мы рассмотрим некоторые моменты на примере установки драйвера адаптера Sound Galaxy NX Pro.

После запуска программы установки, которая есть на дистрибутивной дискете, в каталоге sgnxpro/windows появляются следующие файлы:

DISK1
GALAXY   DRV
MIDIMAP  CFG
OEMSETUP INF
SGAUX    DRV
SGOPL3   DRV
SGPROFM  DRV
VSGD     386

Файл oemsetup.inf предназначен для установки драйверов с помощью стандартного приложения Control Panel.

Запустите приложение Control Panel и сделайте двойной щелчок левой клавишей мыши по пиктограмме "Drivers". На экране появится диалоговая панель "Drivers", в которой будет отображен список всех установленных драйверов. Нажмите кнопку "Add...". В появившейся диалоговой панели выберите строку "Unlisted or Updated Driver" и нажмите кнопку "OK". Появится диалоговая панель "Install Driver". В этой панели нажмите кнопку "Browse..." и укажите каталог sgnxpro/windows или другой каталог, в котором находятся драйверы звукового адаптера. Затем нажмите кнопку "OK".

На экран будет выведена диалоговая панель "Add Unlisted or Updated Driver" (рис. 1.4), с помощью которой следует добавить нужные драйверы.

Вы можете добавить по очереди все драйверы из появившегося списка или только некоторые. Для обеспечения возможности работы со звуком следует добавить первые два драйвера из списка, показанного на рис. 1.4.

Если вы приобрели другой звуковой адаптер, названия драйверов изменятся, поэтому при установке следует руководствоваться описанием, которое поставляется вместе с драйверами.

После выбора драйвера на экране появится диалоговая панель настройки параметров (рис. 1.5).

С помощью этой диалоговой панели вы должны указать номер прерывания, адрес порта ввода/вывода и номер канала прямого доступа. Эти параметры будут записаны в энергонезависимую память, расположенную в адаптере Sound Galaxy NX Pro. В адаптерах других типов для настройки параметров могут использоваться перемычки или переключатели, расположенные на плате звукового адаптера. Устанавливая параметры, следите за тем, чтобы они не конфликтовали с параметрами другого оборудования компьютера.

Панель управления звуковым адаптером

В комплекте утилит для адаптера Sound Galaxy NX Pro поставляется приложение win­mix.exe, представляющее собой электронный микшерный пульт, управляющий работой адаптера (рис. 1.6). С другими адаптерами поставляются утилиты аналогичного назначения.

С помощью этого приложения вы можете устанавливать уровень сигнала до смешивания (набор регуляторов "Mixer Control", регулировать громкость ("Vol"), баланс ("Bal"), тембр для низких и высоких частот ("Bas" и "Trb"), включать и выключать стереофоническое звучание (кнопка "ST"), а также контролировать уровень сигнала по индикатору, расположенному в верхнем левом углу панели. При выключенном переключателе "Lock" можно регулировать уровни сигнала отдельно для каждого канала (в стереофоническом режиме).

С помощью меню "ADC" можно изменять подключение аналого-цифрового преобразователя (рис. 1.7).

Группа переключателей "ADC Input" позволяет подключить этот преобразователь к микрофону ("Mic"), аналоговому выходу устройства чтения компакт-дисков ("CD") или входной линии ("Line in"). Вы также можете разрешить смешивание сигналов от различных входов (переключатель "Mixer On") или запретить такое смешивание ("Mixer Off").

Все установленные параметры, включая настройку громкости и тембра, можно сохранить в энергонезависимой памяти звукового адаптера, для чего из меню "Option" приложения следует выбрать строку "Save Settings".

Отметим, что не все звуковые адаптеры допускают регулировку тембра или могут сохранять параметры в энергонезависимой памяти.

Установка драйвера устройства чтения CD ROM

Устройство чтения CD ROM может использоваться либо для чтения цифровых компакт-дисков, либо для проигрывания звуковых компакт-дисков. И в том, и в другом случае вам необходимо установить драйвер устройства чтения и специальное расширение MS-DOS mscdex.exe.

Процедура установки драйвера зависит от изготовителя устройства и используемого интерфейсного адаптера. Она описана в документации, которая поставляется вместе с устройством. Например, для устройства MITSUMI , подключенного к звуковому адаптеру Sound Galaxy NX Pro, используется драйвер sgcdm.sys, подключаемый в файле config.sys следующим образом:

device=c:sgnxprodriverssgcdm.sys /D:MITSUMI /P:300 /I:12

Параметр /D определяет имя устройства. Это же самое имя должно быть указано при запуске mscdex.exe. Через параметр /P передается адрес порта ввода/вывода, используемого для работы с устройством, через параметр /I - номер прерывания. Драйверы для других типов CD ROM или интерфейсных адаптеров могут иметь другой набор параметров, однако имя устройства должно задаваться в любом случае.

Расширение MS-DOS, предназначенное для работы с CD ROM, подключается в файле autoexec.bat следующим образом:

c:dosmscdex.exe  /D:MITSUMI /M:20

Единственный параметр, который должен быть задан обязательно, это параметр /D, определяющий имя устройства. Это имя должно быть задано точно таким же образом, что и в строке параметров драйвера CD ROM. Вы можете загрузить несколько драйверов для нескольких устройств CD ROM, задав каждому устройству свое имя. В этом случае при запуске mscdex.exe следует указать параметр /D несколько раз:

c:dosmscdex.exe /D:CDDRV00 /D:CDDRV01 /M:10 /E /V

Параметр /M определяет количество блоков памяти, получаемых программой mscdex.exe для буферизации чтения CD ROM.

Можно потребовать, чтобы программа mscdex.exe была загружена в дополнительную (expanded) память. Для этого надо указать параметр /E.

Для просмотра информации об использовании программой mscdex.exe оперативной памяти следует указать параметр /V.

Параметр /L позволяет принудительно задать букву, которая будет использована для обозначения дискового устройства, соответствующего устройству чтения CD ROM. Например, для того чтобы устройство CD ROM обозначалось буквой Z, можно использовать следующий набор параметров:

c:dosmscdex.exe /D:MITSUMI /L:Z

1.3. Программы, работающие со звуком и видео

Для работы со звуковыми адаптерами существует большое количество программ, рассчитанных на работу в среде MS-DOS, Windows и других операционных систем. Прежде чем приступать к созданию собственных программ, полезно познакомиться с тем, что уже сделано в этом направлении. Отметим, что наибольшей популярностью пользуются мультимедиа-приложения, разработанные для операционной системы Windows, хотя есть интересные программы MS-DOS, работающие со звуком и анимацией. Следующие версии Windows, такие, как Chicago, будут иметь очень мощные встроенные средства мультимедиа, поэтому, на наш взгляд, в первую очередь имеет смысл научиться создавать мультимедиа-приложения для Windows.

В составе операционной системы Windows версии 3.1 поставляются драйверы, dll-библиотеки и некоторые приложения, предназначенные для работы со звуком. Дополнительно можно приобрести такое изделие, как Microsoft Video for Windows версии 1.1, которое можно считать средством для создания систем мультимедиа второго поколения.

Нельзя сказать, что создавая программы MS-DOS, программист неизбежно столкнется с необходимостью программирования звукового адаптера на уровне портов, каналов прямого доступа и обработки прерываний. Для звуковых плат поставляются специальные средства разработки, содержащие драйверы в виде резидентных программ, значительно облегчающие программирование в среде MS-DOS.

В качестве примера можно привести такой программный продукт, как Sound Galaxy Software Developer Kit. В него входит набор драйверов для MS-DOS, библиотеки функций языка программирования С для работы с этими драйверами в среде MS-DOS, а также подробное описание особенностей аппаратуры. К сожалению, в комплекте поставки нет ни одного примера программы, работающей на уровне портов ввода/вывода звукового адаптера, что необходимо, если ваша программа работает не в среде MS-DOS или Windows.

Приложения Windows находятся в лучшем положении, так как они могут пользоваться высокоуровневым или низкоуровневым интерфейсом, который обеспечивается мультимедиа-расширением Windows. Само это расширение работает со звуковым адаптером через драйвер, который поставляется вместе с адаптером. Поэтому приложение Windows в значительной мере изолировано от звукового адаптера и его аппаратных особенностей, работая на уровне унифицированного интерфейса.

К описанию этого интерфейса мы вернемся позже, а сейчас расскажем о некоторых приложениях, созданных для Windows с использованием технологии мультимедиа.

Стандартные приложения Windows

Первое, что вы можете сделать после установки звукового адаптера и драйвера для него - это "озвучить" Windows. Запустите приложение Control Panel и выберите для работы пиктограмму "Sound". На экране появится диалоговая панель "Sound" (рис. 1.8).

Из списка "Events" вы можете выбрать то или иное событие в системе, назначив ему соответствующий звуковой фрагмент из файла с расширением имени wav. Если произойдет событие, например, запуск или завершение работы Windows, критическая ошибка и т. п., звуковой адаптер проиграет соответствующий звуковой файл. Несколько таких файлов поставляются в комплекте с операционными системами Windows или Windows for Workgroups. Для прослушивания подключенного фрагмента можно воспользоваться кнопкой "Test".

Для отключения фрагмента выберите строку "<none>". Вы можете отключить "музыкальное сопровождение" Windows, если переведете переключатель "Enable System Sounds" в выключенное состояние.

Если вас не удовлетворяет набор звуковых wav-файлов, поставляемых в составе Windows, с помощью стандартного приложения Sound Recorder (рис. 1.9) можно записать свои файлы (а также прослушать и отредактировать записанные ранее).

Для прослушивания wav-файла загрузите его с помощью строки "Open..." меню "File" и нажмите на среднюю кнопку. Вы можете "перематывать" звуковую запись в любом направлении с помощью полосы просмотра или левых двух кнопок, а также временно останавливать ее, нажимая вторую кнопку справа. В центре окна приложения для наглядности отображается осциллограмма звукового сигнала.

Кнопка с нарисованным на ней микрофоном включает режим записи. Записанную фонограмму можно сохранить в файле при помощи строки "Save as..." меню "File".

Что еще, кроме записи и воспроизведения звуковых файлов, можно делать при помощи приложения Sound Recorder?

Меню "Effects" позволяет выполнять различные операции над загруженным или записанным звуковым файлом. Можно увеличивать или уменьшать громкость, скорость воспроизведения, добавлять эхо или перевернуть звуковой файл для проигрывания из конца в начало.

Меню "Edit" также предоставляет вам некоторые возможности для редактирования звукового файла. Вы можете объединять звуковые файлы или накладывать их друг на друга, удалять ненужные фрагменты, и, что самое интересное, копировать содержимое звукового файла в универсальный буфер обмена Clipboard. Зачем это нужно?

Современные приложения, такие как Microsoft Write, Microsoft Word for Windows версий 2.0 и 6.0, Microsoft Excel и т. п. позволяют вставлять в документ из Clipboard не только текст и графические изображения, но и звук! Разумеется, звук нельзя распечатать на принтере, но зато можно добавить звуковые комментарии в текстовый документ или электронную таблицу. Звук будет записан в Clipboard в виде OLE-объекта. Такой объект можно впоследствии не только прослушивать, но и редактировать.

В результате вставки звука из Clipboard в документе появится пиктограмма в виде микрофона. Если сделать по этой пиктограмме двойной щелчок левой клавишей мыши, вы услышите звук, вставленный ранее в документ.

Несмотря на то, что звуковые комментарии увеличивают размер файла, содержащего документ, они удобнее и нагляднее обычных, в виде напечатанных слов. Кроме того, звуковые комментарии вносят минимальные изменения в документ (вместо ссылок и сносок добавляется одна или несколько пиктограмм).

Еще одно приложение, которое работает со звуком и поставляется вместе с Windows, называется Media Player (рис. 1.10).

С помощью этого приложения вы можете проигрывать звуковые wav-файлы, файлы в стандарте MIDI (mid- и rmi-файлы), а также звуковые компакт диски. Можно также записывать в Clipboard звуковые фрагменты в виде OLE-объектов приложения Media Player. Для проигрывания MIDI-файлов и звуковых компакт-дисков необходимо установить соответствующие драйверы: MCI MIDI Sequencer, MIDI Mapper (которые входят в дистрибутив Windows и устанавливаются по умолчанию), а также драйвер, специфический для звукового адаптера (поставляется вместе с адаптером). Например, вместе с адаптером Sound Galaxy NX Pro поставляется драйвер Galaxy NX-Pro FM Synth, который можно использовать для проигрывания MIDI-файлов. Вопросы, связанные с MIDI, будут рассмотрены нами позже в отдельной главе.

Приложение Media Player можно использовать и для проигрывания звуковых компакт-дисков. Для этого из меню "Device" следует выбрать строку "CD Audio". Однако следует убедиться, что в системе установлен драйвер MCI CD Audio. Если такого драйвера нет (а по умолчанию он не устанавливается), его следует добавить при помощи приложения Control Panel. Драйвер MCI CD Audio входит в комплект поставки операционной системы Windows. Кроме того, перед запуском Windows следует установить драйвер устройства чтения компакт-дисков (поставляется вместе с устройством), и запустить резидентную программу mscdex.exe (поставляется вместе с MS-DOS).

Звуковые компакт-диски содержат отдельные дорожки (треки), каждый из которых обычно соответствует одной музыкальной записи. С помощью Media Player вы можете проигрывать их последовательно или в произвольном порядке.

Если включить электронный микшер, аналоговый выход проигрывателя компакт-дисков будет подключен ко входу аналого-цифрового преобразователя звукового адаптера, что позволит переписать музыкальный фрагмент в wav-файл. Для записи wav-файла можно воспользоваться приложением Sound Recorder. Не пытайтесь переписать весь компакт-диск, так как для этого придется создать wav-файл огромного размера (некоторые приложения, предназначенные для записи wav-файлов, могут накладывать ограничения на размер файла).

На этом мы завершим обзор стандартных приложений Windows, предназначенных для работы со звуком. Более подробное описание вы сможете найти в руководстве пользователя Windows. Подводя итоги, заметим, что сервис, предоставляемый этими приложениями, нельзя назвать очень мощным. Такие приложения, как Sound Recorder и Media Player, позволяют записать, прослушать и отредактировать звуковой wav-файл, вставить звук в документ в виде OLE-объекта, проиграть MIDI-файлы и звуковые компакт-диски. Но это и все, что с их помощью можно сделать.

К настоящему моменту времени разными фирмами создано большое количество приложений Windows, способных работать со звуком и анимацией. Такие приложения реализуют технологию мультимедиа первого поколения, в которой основной упор делался на использование звука и простейшей анимации (второе поколение предполагает использование видео, совмещенного со звуком, этот подход реализован, например, в системе Microsoft Video for Windows, о которой мы еще расскажем). Рассмотрим кратко возможности приложений мультимедиа, разработанных различными фирмами.

Инструментальные средства

В этом разделе мы сделаем небольшой обзор приложений, которые по своему назначению являются инструментальными средствами, предназначенными для работы со звуком. Такие приложения можно приобрести либо в комплекте со звуковым адаптером, либо отдельно.

Заслуживает внимания приложение WinDAT, которое создано фирмой Voyetra Technologies и поставляется вместе со звуковым адаптером Sound Galaxy (рис. 1.11).

Это приложение работает со звуковыми файлами в стандарте Windows (с расширением имени wav) и в стандарте Sound Blaster (с расширением имени voc). Оно намного мощнее приложения Sound Recorder.

В частности, вы можете выделить звуковой фрагмент на осциллограмме при помощи мыши (выделенный фрагмент отображается инвертированием цвета, что видно на рис. 1.11). Выделенный фрагмент может быть скопирован в Clipboard или удален при помощи стандартного меню "Edit". При помощи строки "Mix Paste" меню "Edit" можно наложить фрагмент, записанный в Clipboard, на любой участок фонограммы, указанный при помощи полосы просмотра. Можно вставить паузу или вырезать ненужный участок фонограммы. Все изменения нетрудно отменить, выбрав в меню "Edit" строку "Undo".

Меню "Transforms" позволяет вносить изменения в выделенный участок фонограммы. Можно, например, изменить громкость, определить расположение и максимальную амплитуду сигнала в выделенном фрагменте.

В отличие от приложения Sound Recorder, приложение WinDAT при записи позволяет выбрать стереофонический или монофонический режим, а также задать частоту дискретизации, выбрав ее из возможных для данного адаптера значений. Для этого следует воспользоваться строкой "Setup..." меню "Windows" (достаточно странное место для строки "Setup...", не правда ли?).

Еще одно интересное приложение для работы со звуковыми файлами разработано фирмой IPI (Interactive Products Inc). Оно называется Audio Server (рис. 1.12).

Это приложение может служить звуковым OLE-сервером, при этом оно поддерживает технологию Drag & Drop. С помощью его вы можете записать звуковой фрагмент (воспользовавшись кнопкой с изображением микрофона), а затем вставить этот фрагмент в документ как объект, просто переместив мышью изображение магнитофонной кассеты из окна приложения Audio Server в нужное место документа. При необходимости с помощью меню "Edit" можно вставить фрагмент в Clipboard не как объект, а как звуковой файл.

Для сокращения объема звуковой информации при вставки ее в документ можно использовать упаковку. Кроме того, в зависимости от нужного вам качества записи вы можете указать частоту дискретизации, выбрав одно из стандартных значений, поддерживаемых звуковым драйвером, или указав произвольное значение (что возможно не для всех типов звуковых адаптеров).

Другая разработка фирмы IPI - приложение Voice Toolkit, предназначенное для тех, кто занимается решением проблемы распознавания речи (рис. 1.13).

С помощью Voice Toolkit вы можете не только записывать и воспроизводить монофонические звуковые фрагменты, но и исследовать их характеристики, в первую очередь спектральные. На рис. 1.13 показан звуковой фрагмент и соответствующий ему двухмерный энергетический спектр, позволяющий исследовать распределение мощности сигнала в зависимости от частоты и времени. Спектр может быть цветной или черно-белый, при этом мощность выделяется либо цветом, либо яркостью.

Однако наиболее впечатляющая возможность приложения Voice Toolkit - отображение трехмерных энергетических спектров (рис. 1.14).

К сожалению, ограниченные возможности типографии не позволяют показать реалистическое изображение трехмерного спектра с тенями, полученное в результате вычисления яркости отдельных лучей видимого изображения.

Так как "рельеф" поверхности может быть достаточно сложным, предусмотрены мощные средства для просмотра отдельных деталей спектра. Вы, например, можете выделить любой трехмерный участок спектра и увеличить его до размеров окна. Есть средства для поворота полученного участка в пространстве (рис. 1.15).

В приложении Voice Toolkit предусмотрен расширяемый набор фильтров для обработки звуковых фрагментов (звуковые эффекты), такие, как эхо, изменение уровня сигнала, проигрывание в обратном направлении, изменение скорости воспроизведения и т. д. (рис. 1.16).

Другие приложения мультимедиа

Приложение World Atlas (атлас мира) поставляется на дискетах или компакт-диске. Его можно использовать как справочник, содержащий многочисленные сведения о различных странах и городах мира. Справочник содержит высококачественные цветные графические изображения карт и мощные средства поиска информации (рис. 1.17).

Выбрав страну, вы можете услышать (на английском языке) ее название, а также гимн. База данных содержит сведения о населении городов, средней температуре в разные сезоны года, географические координаты, международный телефонный код. Если вы не знаете, где расположена страна или город, но знаете ее название, нужную вам страну или город нетрудно найти в списке географических названий. После выбора названия вы увидите это место на карте. В базе есть не только политическая карты мира, но и топографическая, на которой обозначен рельеф местности, а также статистические карты.

С помощью World Atlas вы сможете без труда узнать поясное время в любом городе мира, определить расстояние между любыми двумя городами, узнать другие сведения о стране, необходимые для путешественника. Вы можете отметить нужные вам города на карте. Любая карта или диаграмма может быть скопирована в Clipboard и вставлена затем в документ (рис. 1.18).

Еще одно интересное приложение, использующее технологию мультимедиа - электронная книга "Guinness Multimedia Disk of Records" (вариант "Книги рекордов Гиннеса"), которая поставляется на компакт-диске (рис. 1.19).

В отличие от обычной книги, где вы можете прочитать запись о рекорде и посмотреть соответствующую фотографию, электронный вариант позволяет вам прослушать звуковую запись. Например, мы узнали, что самое длинное слово в русском языке - "рентгеноэлектрокардиографического". Мы услышали произношение этого слова, а также пример предложения, в котором оно используется, и его перевод на английский язык - "Больше нет рентгеноэлектрокардиографического института". Увы, больше нет...

В некоторых окнах, содержащих описание рекорда, есть пиктограммы фотоаппарата и головных телефонов. Например, на рис. 1.20 вы видите сведения о самой быстрой птице. Сделав двойной щелчок по пиктограмме с изображением фотоаппарата, вы можете увидеть фотографию птицы. Если же вы щелкните по пиктограмме с изображением головных телефонов, вы услышите голос самой быстрой птицы в мире.

В продаже вы можете найти множество приложений на компакт-дисках, поддерживающих технологию мультимедиа, стоимостью от десятков до сотен долларов. Для примера кратко перечислим названия нескольких таких дисков.

• Audobon's Mammals

Многотомное описание животных Северной Америки с цветными фотографиями и записями звуков.

• Cameron's Fine Art Catalog

Работы художников и фотографов со звуковым сопровождением.

• Compton's Interactive Encyclopedia

26-томная энциклопедия с фотографиями, звуковыми и видеозаписями.

• Macmillian Dictionary for Children

Словарь, предназначенный для обучения детей. Использование средств мультимедиа позволяет значительно улучшить восприятие материала.

• Mayo Clinic Family Health Book

Электронный семейный доктор. Фотографии, видеозаписи и звуковые записи иллюстрируют информацию о том, как сохранить свое здоровье.

Microsoft Video for Windows 1.1

Система Microsoft Video for Windows открыла новые области применения компьютера, обеспечив запись, хранение, редактирование и воспроизведение видеофильмов (рис. 1.21).

Одновременно и синхронно с видеоизображением записывается звук, поэтому теперь на экране компьютера можно посмотреть полноценное кино со звуковым сопровождением.

Вы спросите: а зачем? Для записи и просмотра видео есть видеокамеры, видеомагнитофоны, видеоплееры и телевизоры. Для чего впутывать в это хорошо освоенное дело компьютеры? К тому же стоимость компьютера не сравнима со стоимостью видеомагнитофона. Особенно такого, который способен воспроизводить видео с приемлемым качеством.

Согласны, технологию Video for Windows пока еще невыгодно использовать для записи обычных фильмов. Если вы желаете иметь дома коллекцию фильмов, купите себе видеоплеер, телевизор, кассеты с фильмами и забудьте про компьютеры и Video for Windows.

Однако иногда возникает необходимость создания баз данных и обучающих систем, в которых хранится не только текстовая и графическая информация, но и видеофрагменты.

Компьютер поможет выбрать нужный видеофрагмент. Вам не придется искать кассету, перематывать ленту, не отрываясь глядеть на счетчик метража. В некоторых случаях, особенно если вам нужно работать с большим количеством коротких видеофрагментов, использование компьютера значительно ускорит доступ к информации.

Вы, наверное, знаете, что в продаже есть видеокассеты с учебными записями. Все вы смотрели в школе учебные фильмы по физике, химии и другим наукам. Технология Video for Windows позволяет создавать обучающие системы нового, более высокого уровня. Эффективность обучения в этих системах достигается не только за счет использования звуковых и видеофрагментов (что доступно и в обычных учебных фильмах), но и за счет интерактивного взаимодействия ученика с обучающей системой (что может обеспечить только компьютер).

Видеофильмы хранятся в компьютере в виде файлов с расширением имени avi (файлы в стандарте AVI). Эти файлы могут содержать не только видео, но и также многоканальное звуковое сопровождение (например, на разных языках), текстовую и любую другую информацию.

Для проигрывания avi-файлов можно использовать специальную версию приложения Media Player, которая поставляется вместе с Video for Windows и Video for Windows Runtime (рис. 1.22).

Изображение появляется в отдельном окне (рис. 1.23). Это окно можно уменьшить до пиктограммы, при этом "кино" не остановится.

Если же у вас очень много avi-файлов, вы можете их каталогизировать и просматривать с помощью приложения Microsoft Media Browser (рис. 1.24).

Вы можете создать несколько коллекций видеофильмов и сохранить их в виде файла на диске. В дальнейшем при помощи кнопки "Add Collection..." можно указать путь к каталогу, в котором находятся файлы коллекций, при этом список "Collections" будет содержать названия коллекций видеофрагментов, а список "Files" - названия файлов, входящих в состав выбранной коллекции. Для каждого avi-файла, входящего в коллекцию, вы можете подготовить краткое описание, которое будет отображаться в окне "File Information" вместе с первым кадром фрагмента. В этом же окне отображается имя файла и его размер.

Обратите внимание, что размер файла, выбранного на рис. 1.24, составляет около 37 Мбайт. Время проигрывания этого файла - примерно 4,5 минуты, следовательно, для хранения одной минуты видео нужно примерно 8 Мбайт памяти (при использовании данного размера изображения, цветового разрешения и метода компрессии изображения). Поэтому в качестве памяти для хранения avi-файлов используются цифровые компакт-диски, магнитооптические лазерные диски с перезаписью, лазерные диски с однократной записью (WORM), и магнитные диски большой емкости (порядка 1 Гбайт).

В продаже есть компакт-диски с записанными на них видеофильмами, базами данных, содержащими видеофрагменты и другие аналогичные информационные системы.

Что вам нужно для того чтобы самостоятельно записывать avi-файлы?

В дополнение к звуковому адаптеру вам необходимо приобрести адаптер для ввода видеоизображения. Этот адаптер должен продаваться вместе с драйвером для Windows. Желательно также, чтобы он мог выполнять аппаратную компрессию изображения в реальном времени. Это значительно сократит требования к объему диска, на который будет записываться полученный avi-файл. Стоимость такого адаптера может составлять порядка нескольких сотен долларов.

Источником видеосигнала может служить видеокамера, видеоплеер, телевизор или лазерный проигрыватель видеодисков.

Ну и конечно, необходимо приобрести Microsoft Video for Windows версии 1.1 или более поздней версии. В его состав входит приложение VidCap, с помощью которого вы сможете создать avi-файл из видеосигнала, поступающего в адаптер ввода изображения. Следует также установить драйвер для Windows, который поставляется вместе с адаптером.

Записанное изображение можно отредактировать, воспользовавшись приложением VidEdit. При этом avi-файл можно сжать, использовав один из методов компрессии.

Есть также способы создания видеофильмов из отдельных файлов, содержащих изображения кадров фильма в формате DIB, из файлов анимаций. Можно создать фильм, записывая изменения содержимого произвольного участка экрана компьютера, что удобно, например, для демонстрации работы программ. Все эти способы создания видеофильмов мы опишем в пятой главе.

Системы распознавания речи

Несмотря на сложность задачи распознавания речи, в этом направлении есть определенные достижения. Все существующие системы можно разделить на две группы. К первой группе относятся системы распознавания, которые обучаются пользователем. Пользователь сам формирует словарь, причем система настраивается на произношение конкретного человека. Вторая группа систем содержит фиксированный словарь и не нуждается в предварительном обучении или настройке на конкретного пользователя.

Примером системы, относящейся к первой группе, может послужить приложение Voice Mouse, созданное фирмой IPI (рис. 1.25).

Это приложение добавляет в Windows голосовое управление, что позволяет выполнять некоторые функции, не прикасаясь к мыши или клавиатуре. Во время своей работы Voice Mouse анализирует структуру меню активного приложения, формируя в своем окне список команд, входящих в меню. Этот список можно расширить произвольным образом. Для каждой команды можно определить звуковую последовательность, при распознавании которой данная команда будет запущена на выполнение, а также действия, которые нужно выполнить.

Для редактирования команд используется диалоговая панель "Command Editor" (рис. 1.26).

С помощью кнопки "Train..." можно обучить Voice Mouse распознавать команду, повторив в микрофон соответствующее этой команде слово два раза.

С помощью кнопки "Edit..." можно назначить действие, которое должно быть выполнено при распознавании команды. В качестве действия можно задать либо запуск произвольного приложения, либо имитацию ввода с клавиатуры произвольной последовательности символов. Например, исходный текст приложения, показанный на рис. 1.25, был "набран" без использования клавиатуры, мы просто надиктовали его в микрофон, предварительно обучив систему Voice Mouse таким словам, как WinMain и HINSTANCE.

Аналогичная система создана фирмой Cylogic Software и называется Voice User. Среди возможных областей ее применения - помощь пользователям-инвалидам.

К системам распознавания речи второй группы можно отнести IBM Personal Dictation System, разработанную фирмой IBM Personal Software Products. Эта система имеет словарь размером 32 тыс. слов и способна работать с английским, немецким, французским, итальянским и испанскими языками. Аналогичные системы создаются и в России.

1.4. Подводя итоги

Системы мультимедиа позволяют интегрировать в одном приложении звук, видео, графические изображения и текстовую информацию. Появление цифровых компакт-дисков открыло реальную возможность создания таких приложений, о которых раньше мы не могли и мечтать. Теперь компьютер может передавать человеку информацию в наиболее удобном для него виде, а именно, с помощью звука, изображений и видео. Все это не только увеличивает привлекательность компьютера как инструмента для выполнения какой-либо работы, но и открывает совершенно новые области для его использования.

Если рассматривать существующие средства разработки приложений Windows, использующих технологию мультимедиа, можно выделить три уровня таких средств.

Первый уровень, самый высокий, предназначен для конечных пользователей, создающих приложения без использования программирования. Существуют готовые системы, с помощью которых пользователь может создавать интерактивные приложения мультимедиа, не написав ни одной строчки программного кода. Эти системы удобны, когда нужно быстро получить результат: подготовить демонстрацию или рекламный ролик, создать несложную обучающую систему или базу данных, содержащую звуковую или видеоинформацию.

Второй уровень предполагает программирование с использованием интерфейса высокого уровня MCI (Media Control Interface - интерфейс управления средой). С помощью этого интерфейса приложение Windows может выдавать команды драйверам устройств ввода/вывода звуковой и видеоинформации, включающие режим записи, воспроизведения, перемотки и т. п. Если ваше приложение должно выполнять запись или воспроизведение звуковых или видеоданных, имеет смысл воспользоваться именно этим уровнем, скрывающим от программиста многие сложные процедуры, необходимые для работы с драйверами устройств мультимедиа.

Третий, самый низкий, уровень позволяет приложениям получить доступ к буферам, содержащим воспроизводимые или записываемые звуковые или видеоданные, работать с внутренней структурой файлов, содержащих звуковую или видеоинформацию, а также использовать другие дополнительные возможности. К этому уровню обычно обращаются в тех случаях, когда ни один из более высоких уровней не позволяет достичь нужного результата. Как правило, низкий уровень используется для создания инструментальных средств и приложений, обрабатывающих звуковую и видеоинформацию в реальном времени.