Случайные процессы. Примеры и задачи

  В. И. ТИХОНОВ Б.И. ШАХТАРИН В. В. СИЗЫХ


 СЛУЧАЙ Н Ы Е ПРОЦЕССЫ Примеры и задачи
2-е издание


  Том 5
  Оценка сигналов, их параметров и спектров Основы теории информации





Москва Горячая линия - Телеком 2012

УДК 621.37+621.391
ББК 32.841
  Т46
Р е ц е н з е н т ы : доктор техн. наук, профессор Н. Н. Удалов; доктор физ.-мат. наук, профессор А. И. Козлов
      Тихонов В. И., Шахтарин Б. И., Сизых В. В.
Т46 Случайные процессы. Примеры и задачи. Том 5 - Оценка сигналов, их параметров и спектров. Основы теории информации: Учебное пособие для вузов. - 2 изд., стереотип. - М.: Горячая линия-Телеком, 2012. - 400 с.: ил.
      ISBN 978-5-9912-0102-5.
         В пятом томе задачника в первой части представлены задачи по оценке сигналов, их параметров и энергетических спектров. Рассмотрены задачи на вычисление границ Рао-Крамера для дисперсии оценок, на определение оценок методами максимального правдоподобия и байесовских критериев, а также задачи на оценивание случайных сигналов фильтрами Винера и Калмана, приведены примеры приложения теории нелинейного оценивания (метод Стратоновича) и задачи на оценивание спектра. Во второй части пособия даны задачи на вычисление энтропии распределений, а также задачи по кодированию и по оценке помехоустойчивости систем передачи сообщений.
         Для студентов вузов радиотехнических и инфокоммуникационных специальностей.
ББК 32.841
Адрес издательства в Интернет www.techbook.ru
Учебное издание
Тихонов Василий Иванович, Шахтарин Борис Ильич, Сизых Вадим Витальевич
Случайные процессы. Примеры и задачи.
        Том 5 - Оценка сигналов, их параметров и спектров.
Основы теории информации
Учебное пособие для вузов
Компьютерная верстка Ю. Н. Чернышова Обложка художника В. Г. Ситникова

  Подписано в печать 20.01.12. Формат 60x90/16. Усл. печ. л. 27,75. Тираж 500 экз. (1 завод. - 100 экз.)

ISBN 978-5-9912-0102-5            © В. И. Тихонов, Б. И. Шахтарин,
В. В. Сизых, 2009, 2012
© Издательство Горячая линия-Телеком, 2012

                Предисловие





    Данный пятый том задачника, задуманный еще при жизни Василия Ивановича Тихонова и основанный в значительной степени на его идеях, выходит уже после ухода из жизни этого замечательного ученого и педагога. Мы постарались учесть все предложения и замечания нашего соавтора. Надеемся, что это нам в значительной степени удалось. В данном томе задачника собрано практически большинство тем, имеющих отношение к оценке сигналов, их параметров и энергетическому спектру. Нам остается пожелать, чтобы наш труд не пропадет даром, а принесет определенную пользу студентам, аспирантам и специалистам, заинтересованных в решении представленных задач.
    С выходом данного тома задачника авторы завершают издание всего многотомника под общим названием «Случайные процессы. Примеры и задачи»:
    Т. 1. Случайные величины и процессы. — М.: Радио и связь, 2003. — 399 с.
    Т. 2. Линейные и нелинейные преобразования. — М.: Радио и связь, 2004. — 399 с.
    Т. 3. Оптимальная фильтрация, экстраполяция и моделирование. — М.: Радио и связь, 2004. — 407 с.
    Т. 4. Оптимальное обнаружение сигналов. — М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. — 367 с.
    Т. 5. Оценка сигналов, их параметров и энергетических спектров. Основы теории информации. — М.: Горячая линия-Телеком, 2009. — 400 с.


Б. И. Шахтарин
В. В. Сизых

                Введение





    В данной книге рассмотрены основные вопросы, связанные с оценкой сигналов, их параметров и спектров, а также задачи по основам теории информации (энтропия, кодирование, передача информации).
    Книга содержит две части. В первой части (главы 1-8) представлены примеры и задачи по оценке сигналов и их параметров, включая спектральное оценивание. В первой главе рассмотрено вычисление границы Рао-Крамера (ГРК), приводятся теоремы как для скалярного, так и для векторного параметров и соответствующие примеры и задачи. Во второй главе представлен наиболее популярный метод оценки параметров — метод максимального правдоподобия (ММП). Приводятся способы вычисления ММП-оценок дальности до цели, угла пеленга, а также ММП-оценок параметров сигнала (амплитуды, фазы, частоты). В третьей главе рассматриваются байесовские оценки. Анализируются различные функции потерь и априорные распределения. В четвертой главе приводятся задачи на оценку параметров методом наименьших квадратов (МНК).
    В главах 5, 6, 7 рассматриваются линейные, а также нелинейные методы оценки сигналов. В главе 5 — оценки фильтрами Винера (ФВ), в главе 6 — фильтрами Калмана (ФК), в главе 7 — нелинейными фильтрами Стратоновича (ФС). В главе 8 приводятся сведения и задачи по спектральному оцениванию, представлены декомпозиционные методы такие, как метод минимума нормы (ММН), метод Писаренко, метод классификации множества сигналов (КМС, или MUSIC), метод ESPRIT.
    Во второй части книги рассмотрены примеры и задачи по основам теории информации. В главе 9 — представлены задачи по вычислению энтропии (в приложении 2 материалы главы дополнены методом максимальной энтропии и его приложению к оценке спектра в версиях Берга и Акаике). В главе 10 даны задачи по кодированию, в главах 11 и 12 — задачи по помехоустойчивости передачи дискретных и непрерывных сигналов.
    В приложениях (П1-10) рассмотрены вспомогательные материалы, призванные дополнить теоретические сведения, изложенные в основных главах книги.
    В приложениях изложены метод Лагранжа (П1), метод максимальной энтропии (ММЭ) (П2), доказательства ГРК для скалярного (ПЗ) и векторного (П4) параметров. Приводится вывод соотношений для нерекурсивного цифрового фильтра Винера (ЦФВ) (П5), даны основы декомпозиционных методов спектрального оценивания (П6), приводятся формулы дифференцирования векторов и матриц (П7), изложена альтернативная версия ESPRIT (П8), а также программа алгоритма Аькаике (П9). В приложении 10 рассмотрены основы построения систем с ортогональным частотным уплотнением сигналов.

Введение

5

   Таким образом, в целом материал книги дает основные сведения по рассматриваемым выше вопросам и создает предпосылки для обучения студентов и специалистов в областях, затронутых в этой книге.

        Список сокращений


ПРВ — плотность распределения вероятностей
ПСП — псевдослучайная последовательность
  ПФ — преобразование Фурье
  РУ — разностное уравнение
РФК — расширенный ФК
РФС — расширенный фильтр Стратоновича
СКО — средний квадрат ошибки СП — случайный процесс
СПМ — спектральная плотность мощности
ССЗ — система слежения за задержкой СФ — согласованный фильтр
ФАП — фазовая автоподстройка
  ФВ — фильтр Винера
  ФД — фазовый детектор
  ФК — фильтр Калмана
ФНЧ — фильтр низкий частот
  ФС — фильтр Стратоновича
  ФФ — формирующий фильтр
ЦАП — цифро-аналоговый преобразователь
ЦСФ — цифровой согласованный фильтр
ЦФВ — цифровой фильтр Винера
ЦФК — цифровой фильтр Калмана
ЦРФК — цифровой расширенный фильтр Калмана
   ЧХ — частотная характеристика ЭС — энергетический спектр

АГБШ — аддитивный гауссовский белый шум
АПРВ — апостериорная ПРВ
   АР — антенная решетка
  БПФ — быстрое преобразование Фурье БШ — белый шум
ВКФ — взаимная КФ
ГБШ — гауссовский БШ
  ГРК — граница Рао-Крамера
  ДПФ — дискретное преобразование Фурье
   ДУ — дифференциальное уравнение
   ЗИ — защитный интервал
   ИЦ — интегрирующая цепь
   ИХ — импульсная характеристика
КВМ — ковариационная матрица
КВФ — ковариационная функция
  КМС — классификация множественных сигналов
   КФ — корреляционная функция
   ЛС — линейная система
ММП — метод максимального правдоподобия
МНК — метод наименьших квадратов
МСИ — межсимвольная интерференция
ОБПФ — обратное быстрое преобразование Фурье
ОДПФ — обратное дискретное преобразование Фурье
  ОНП — обнаружитель Неймана-Пирсона ОП — отношение правдоподобия
ОСШ — отношение сигнал/шум

  ПИФ — пропорционально-интегрирующий фильтр

                ЧАСТЬ I


                Оценка сигналов, их параметров и спектров


                Глава 1

                Граница Рао-Крамера






        Теоретические сведения

    Теорема 1.1. Граница Рао-Крамера (ГРК) при скалярном параметре 6 [1-5].
Пусть ПРВ W(x,6) удовлетворяют условию (регулярности) [3]

din W(x,6)
д6

при любом 6.

(1-1)

= О

Тогда дисперсия D(0) любой несмещенной оценки 6 удовлетворяет неравенству
D^ ^ ~Гд²1п W(x,6)l ’                  (¹⁻²)
—E -----------[ д6 J
где производные вычисляются по истинному значению 6.
    Более того, граница несмещенной оценки 6 достигается тогда и только тогда, когда

              д In W(x, 6}
              ---д02-- ⁼ I^tx) — ⁶,         С¹'³)

при некоторых функциях I и g.
    Если оценка принадлежит к классу оценок с минимальной дисперсией, то 6 = g(x), а минимальная дисперсия равна 1/1(6).
    Замечание. В соотношении (1.2)

E[£^)]₌y£^)w₍ₗ,6₎ᵣfₗ.   ₍₁.₄₎

Граница Рао-Крамера

7

    Доказательство теоремы приводится в приложении 3.
    Замечание 1. Неравенство (1.2) можно записать и в другой форме, если использовать равенство (см. приложение 3)

E

pin W(x,0)\
I d0 )

2"

d² in w(x,0)’

<90²

(1.5)

—E

Тогда (1.2) принимает вид



1

W) >

21 '

E

                              pin W(x,0)\
                              I    d'O    )


(1.6)

    Знаменатель в (1.2) называется информацией по Фишеру 7(0) данных X = (xo,xi, ...XN-1)т,

7(0) = —E

d² In W(x,0) dO²

(1.7)

    При независимых и одинаково распределенных СВ справедливо равенство
N-1
In W(x, 0) =   In W(x[n], 0),
n=0


где '.г = (x[0], x[l], ...x[N — 1])т, поэтому

d²ln W(x,0) dO²

N-1
s

d² In W(x[n], 0) Э0²

	

E

следовательно, при одинаковых распределенных СВ

где

i(0) =

7(0) = Ni(0),

d² In W(x[n], 0) Э0²

(1.8)



(1.9)

является информацией по Фишеру для одного отсчета.
    Замечание 2. Оценки с минимальной дисперсией называются эффективными оценками.
    Неравенство Рао-Крамера для данных х = (xq, xi, ...x„)T можно записать в виде

1



            D(0) >



ni(0)

Глава 1

    Определение. Эффективностью несмещенной оценки В называют величину
е(В) =-----^-^.                   (1.10)
ш(В)Р(В)
При е(В) = 1 оценка В является эффективной, и чем меньше е(В), т.е. чем ниже эффективность оценки, тем она хуже.
    Граница Рао-Крамера определяется соотношением

' • <Г¹¹>
    Действительно, дифференцируя левую и правую части (1.3) при g(x) = В, получим
                d²lnW(x, 0)    dI(B)                 —д&—“Ж⁽В — В⁾ — ¹⁽В⁾ и, следовательно,
-E [           ]   -           - «)₊ад=ад.
и таким образом устанавливается справедливость равенства (1.11).
    Пусть детерминированный сигнал с неизвестным параметром В наблюдается в аддитивной смеси с ГБШ
              x[n] = s[n, В] + w[n], n = 0,1, ...N — 1, причем w[n] ~ N(0,<r²).
    Функция правдоподобия имеет вид
1          1 N W'(•'"■ В) = 77—7TNeХР{ — xn (x[n] — 4П,В])².
                   (2па²)-     2а²


    Дифференцируя логарифм этой функции, получим

д1п Ж(ж,В)

' V'.-(xW
  п=0

s[n, В])

дв^, В]

дВ

дВ

д²1п W(x, В) дВ²

	

    fln^stn’^ sin, ВВ дВ2

	

	

/ д^В] У
I дВ ) .

После усреднения находим

д² In Ж(ж,В) E—№—



j_Np в dstn,^ у а дВ₀ V дВ У

Граница Рао-Крамера

9

Поэтому окончательно получим неравенство РК

D(£) >

а²


    / д^д] V к дд )


(1-12)

    В частном случае, когда s[n, д] = д, получим ГРК c²/N; когда s[n,d] = Acos(2n/on + д), учитывая приближенное равенство


                                       п + 2д) « О,


(1-13)

получим ГРК 2c²/(NA²).
    Согласно (П3.6) в случае известного преобразования а = д(д) неизвестного параметра д справедливо неравенство РК
/ ч \ 2

D(&) > —

    -E


W(x,ey '

дд²

(1-14)

Отсюда при а = g(A) = A² получим
DM²) > ²A A    Na²     N

(1-15)

поскольку no (1.7) знаменатель (1.14) равен 7(д) и по (1.11)

D^ 1W) DA N 7(A)⁻
    Ha этом примере покажем, что эффективность оценки нарушается при нелинейном преобразовании. Пусть х² является оценкой параметра A² и известно, что х ~ N(A,a²/N), тогда

                                               2
E(X) = E²(x) + D(X) = A² + N A A²,


(1-16)

и, следовательно, оценка х² является также смещенной.
    Однако,считая х² оценкой параметра A², находим, что х² является асимптотически несмещенной, а используя равенство [3]
—4A²ct²        2ст⁴
В⁽х              N^’
получим, что оценка х² является асимптотически эффективной оценкой.
    В достаточно малом интервале значений аргумента можно исполь

Глава 1

зовать линеаризацию функции g(x) около точки A (рис. 1.1):
g(x) « g^ + dgA-^x - A),               (1.17)
-A
тогда
E[g(X)] = g(A) = A².
Это означает, что оценка является асимптотически несмещенной.
    По (1.17) находим
                      -g(A)V , \     (2A)²a²   4A²a²
D[g⁽x⁾¹ ⁼ (-dr) Dⁱ'> v ¹ n
Таким образом, оценка асимптотически достигает ГРК, т.е. является асимптотически эффективной (ср. с (1.15)).
    Рассмотрим оценку векторного параметра 0 = [ф, #2---dₚ]T.
    Предположим, что оценка 9 является несмещенной:
е(6) = е,

когда
Е(^) = di, ai <di < b^        E$) = [E[e]ₓ, E[e₂]...E[eₚ]]T.

В этом случае неравенство РК имеет вид [3, 4, 7]

D(0i) > [I⁻¹(e)]ii,                           (1.18)

где 1(9) — p х p-информационная матрица Фишера;

[i(0)]ij =

d² In W(®,9) dei dej

(1.19)

при i = l,2...p; j = l,2...p.
     Теорема 1.2. ГРК при векторном параметре.
     Пусть ПРВ 1Г(х.9) удовлетворяет условию

                  din W(®,9)
                     аё

= 9

при любом 9.

(1.20)