对任 意一 函数都可 用一 正交 函数来实现逼 近
這是 Google 對 http://wenku.baidu.com/view/a121023667ec102de2bd8985.html?from=related 的快取。 這是該網頁於 2011年11月14日 17:28:10 GMT 顯示時的快照。 在此期間，目前網頁可能已經變更。 瞭解更多資訊
| 百度文库_文档分享平台 |
全部 DOC PDF PPT XLS TXT
|
第 ３ 卷 第 １ ６ 期 ２ ９ ００ 计 算 机 科 学 Ｖ ｏ ． ６ Ｎｏ １ １３ ． １月 Ｃ ｍＤ ｔ ｒ ｃｅ ｃ ｏ ｕ ｅ Ｓ ｉ ｎ ｅ Ｊｎ ２０ ａ． ０ ９ 正 交 泛 函 网络 函数 逼 近 理 论 及 算 法 周永 权 吕咏梅 申 芸 （ 西 民族 大 学数 学 与计算机 科 学 学院 南 宁 ５０ ０ ） 广 ３ ０６ 摘 要 基 于正交函数 的概念和特性 ， 出一种正交泛 函网络新模 型， 出了正交泛 函网络 学习算法。该 算法是借 助 提 给 于正 交函数性 质和 Ｌ ｇａｇ 乘数 法做辅助 函数 ， ａ ｒｎ ｅ 对泛 函参数 学 习过程 归 结为求解 一组线 性方程 组的过 程。最后 ， 通 过 函数逼近 算例 计算机 仿真结果表 明， 该算法十分有效 ， 有模 型简单、 具 逼近精度 高等特 点。 关键词 正交函数 ， ａｒｎ ｅ乘数 法 ， 交泛 函网络 ， 习算法 ， Ｌ ｇａｇ 正 学 函数 逼近 ＴＰ ８ １ Ｏｒｈｏ ｏ ａ ｎ ｔｏ Ｎｅ ｗｏｒ ｐｒ ｘｉ ａ ｅＴｈ ｏ ｙ ａ ａ ｎ ｎｇ Ａｌ ｏ ｉｈ ｔ ｇ ｎ ｌＦｕ ｃ ｉｎ ｔ ｋ Ａｐ ｏ ｍ ｔ ｅ ｒ ｎｄ Ｌｅ ｒ ｉ ｇ ｒ ｔ ｍ ＺＨＯＵ ｎ － ｕ ｎ ＬＵ ｎ Ｙｏ ｇ ｑ ａ Ｙｏ ￣ｍｅ Ｓ ｉ ＨＥＮ ｎ Ｙｕ （ ｌ ｇｅｏ ａ ｈ ｍ ａｉｓａ ｄ Ｃｏ ｕ ｅ ｃｅ ｅ Ｇｕ ｎ ｘ Ｃｏｌ ｆＭ ｔ ｅ ｔｃ ｎ ｍｐ ｔ ｒＳ ｉｎｃ ， ａ ｇ ｉＵｎｉ ｒｉｙ ｆｒＮａ ｉｎａｉｉｓ Ｎａ ｎｎ ３ ０ ６， ｉａ ｅ ｖｅｓｔ ｏ ｔｏ ｌｔ ， ｎ ｉｇ ５ ０ ０ Ｃｈｎ ） ｅ 中图法分 类号 Ａｂｔａ ｔ Ｔｈｓｐ ｐ ｒｐ ｅ ｅ ｔｄａｎ ｗ ｉｄｏ ｕ ｃｉｎ ｌ ｅｗｏ ｋｍ ｏ ｅ ｗｈｃ ｓｂ ｓｄｏ ｒｈ ｇ ｎ ｌ ｕ ｃｉｎ ， ｅ ｒ — ｓｒ ｃ ｉ ａ ｅ ｒｓ ｎｅ ｅ ｋｎ ｆ ｎ ｔ ａ ｔ ｒ ｄ ｌ ｉｈ ｉ ａｅ ｎｏ ｔ ｏ ｏ ａ ｎ ｔ ｓ ａｌａｎ ｆ ｏ ｎ ｆ ｏｉ ｇ ａ ｇ ｒｔ ｍ ｆｏ ｔ ｏ ｏ ａ ｕ ｃ ｉ ｎ ｌ ｅ ｗｏ ｋ ｗａ ｒ ｐ ｓ ｄ，ｈ ｅ ｒ ｉ ｇ ｏ ｕ ｃ ｉｎ ｐ ｒ ｍｅ ｅ ｓ ｕ ｅ ｒ ｈ ｇ ｎ ｌｆ ｎ — ｎ ｌｏ ｉ ｈ ｏ ｒ ｈ ｇ ｎ ｌ ｎ ｔ ａ ｔ ｒ ｓ ｐ ｏ ｏ ｅ ｔ ｅ ｌａ ｎ ｎ ｆｆ ｎ ｔ ａ ａ ｔ ｒ ｓ ｓ ｏ ｔ ｏ ｏ ａ ｕ ｃ ｆ ｏ ｎ ｏ ｔ ｎ ｃ ａ ａ ｔ ｒｓ ｉ ａ ｄ Ｌａ ｒ ｎ ｅ ｍ ｕｔｐ ｉｒ ｙ ｍｅ ｎ ｆａ ｘ ｌ ｒ ｕ ｃ ｉ ｎ ａ ｄ ｓ ｌ ｉ ｇ ａ ｓ ｓ ｅ ｏ ｉｅ ｒ ｅ ｕ ｔ ｎ ｏ — ｉ ｈ ｒ ｃ ｅ ｉｔ ｎ ｇ ａ ｇ ｌｉ ｌ ｓ ｂ ａ ｓ ｏ ｕ ｉｉ ｙ ｆ ｎ ｔｏ ｎ ｏ ｖ ｎ ｙ ｔ ｍ ｆｌ ａ ｑ ａ ｉ ｂ ｏ ｃ ｅ ａ ｎ ｏ ｔｉｓｆ ｎ ｔ ｎ ａａ ｅｅｓ Ｆｉａｌ ， ｘ ｅ ｉ ｎ ｎ ａ ｐ ｏ ｉ ｔ ｇ ｔ ｐｃ ｌｆｎ ｔ ｎ ｓｇｖ ｎ Ｔｈ ｉ ｕａｉｎｒ ｓ ｌｓ ａｎ ｕ ｃｉ ｓｐ ｒｍ ｔｒ ． ｎ ｌ Ａｎｅ ｐ ｒｍｅ ｔｉ ｐ ｒ ｘｍａｉ ｙ ｉａ ｕ ｃｉ ｓｗａ ｉｅ ． ｅｓｍ ｌｔ ｅｕｔ ｏ ｙ ｎ ｏ ｏｓ ｏ ｔ ａ ｈ ｅ ｒ ｉ ｇ ａ ｇ ｒｔ ｍ ｒ ｓ ｎ ｅ ｎ ｔ ｅ ｐ ｐ ｒｈ ｓ ｒ ｐ ｄ ｃ ｎ ｅ ｇ ｎ ｅ ｓ ｅ ｄ ａ ｄ ｐ ｗｅ ｆ ｌｐ ｒ ｏ ｍ ａ ｃ ． ｈ ｗ ｈ ｔ ｔ ｅ ｌａ ｎ ｎ ｌ ｏ ｉ ｈ ｐ ｅ ｅ ｔ ｄ ｉ ｈ ａ ｅ ａ ａ ｉ ｏ ｖ ｒ ｅ ｃ ｐ ｅ ｎ ｏ ｒ ｕ ｅ ｆ ｒ ｎ ｅ Ｋｅ ｗｏ ｄ Ｏｒｈ ｇ ｎ ｌ ｆ ｎ ｔ ｎ Ｌ ｇ ａ ｇ ｙ ｒｓ ｔ ｏ ｏ ａ ｕ ｃ ｉ ， ａ ｒ ｎ ｅ ｍｕ ｔ ｌ ｒ ， ｔ ｏ ｏ ａ ｕ ｃ ｉ ｎ ｌｎ ｔ ｒ ｓ Ｌｅ ｒ ｉ ｇ ａｇ ｒｔ ｍ ， ｎ ｔ ｎ ｏ ｌ ｐ ｉ ｓ Ｏｒ ｈ ｇ ｎ ｌｆ ｎ ｔｏ ａ ｅ ｗｏ ｋ ， ａ ｎ ｎ ｌ ｏ ｉ ｉ ｅ ｈ Ｆｕ ｃ ｉ ｏａ ｐｒ ｘ ｍ ａ ｅ ｐ ｏ ｉ ｔ 备 一 些 特 殊 的性 质 ＿ “ ， 而 被 广 泛 地 用 于 一 些 复 杂 系 统 的 １ ］因 １ 引言 １９ ９ ８年 Ｅ Ｃ ｓｉｏ 出 了 泛 函 网络 ［ ， 近 年 来 提 出 的 ． ａｔｌ 提 ｌ １是 ］一 建模和求解 ， 如非线性 系统辨 识 、 系统控 制建模 等 。近 年来 ， 神经 网络（ 包括正交神经 网络 ） 在这方面 已取得 了许多令人鼓 舞 的成果［ １ 。系统建模为多层前 馈神经 网络 ， 过优化一个 通代 价 函数 的方 法 （ 梯 度 法 等 ） 进 行 权 值 学 习 。尽 管 这 些 算 如 来 种新的对传统神经 网络 的推广 。泛 函网络 处理的是一般 的 泛 函 模 型 ， 在 各 个 神 经 元 之 间 连 接 无 权 值 ， 且 神 经 元 函 数 它 并 不 固 定 ， 是 可 学 习 的 ， 常 是 一 些 给定 的 函数 簇 （ 多 项 式 、 而 常 如 法在许 多情况 下性能较好 ， 实际 中神 经网络存 在结构过 于 但 复杂 、 结点过多 ， 并且 在学习过程中容易陷入局部极小点而 导 致逼近 能力有 限等问题 ， 因此在一些 复杂 系统建模 时 ， 存在较 大 的建模误差 等问题 。 另 一 方 面 ， 管 泛 函 网络 具 有 学 习能 力 、 输 人 并 行 处 理 尽 多 三角函数 、 ｏ ｒ ｒ Ｆ ｕ ｉ 展开式等 ） ｅ 的线性组合 ， 人们 可根据 特定 的 问题选 取不同的 函数簇来满足不 同背景 问题 系统 的建模和求 解 的需求。泛函网络 已经 被成 功地应用 于非线 性 系统辨 识 、 混沌 时间序列预测 、 微分 、 差分 和泛 函方程求解 、 ＡＤ、 性 、 Ｃ 线 非线 性回归等领域［ 。在 此基础上 ， 者近年 来致 力于泛 函 ２ ］ 作网 络新 模 型 、 习算 法 和应 用 基 础 方 面 的研 究 ， 别 在 计算 智 学 特 能力 、 非线性映射和容错能力 ， 以及通过新的学习获得 自适应 性 的能力 ， 但是在其应用过程 中， 与神经 网络所不 同的是泛 函 网络不是权 的学 习 ， 而是结构和参数 的学 习 ， 学习 的 目的就是 能的数学理论方法 上获 得 了一些研 究成 果＿ 引， 现泛 函 网 ３ 发 络在解决 上述问题 中都表现 出较好 的逼 近性 能。虽然泛函 网 络 已经成功 被应用 于很多方 面， 由于泛 函网络是近 年来 提 但 出的一种新 的对神经 网络 的推 广 ， 些理论 和应用方 面的基 有 础还 不太健全 ， 需要 我们不 断地提 出更适合所 要解决 的新 的 网络结构 ， 完善基础理论 ， 提出新 的逼近算法 。 求 出神经元 函数 的精 确表达式或近似表达式 。泛 函网络 的数 学本质 对应 的是 一些泛 函变换 ， 的拓 扑结构描述 的是一个 它 函数变换 。函数变换 的类 型很 多 ， 以表 示 函数 变换 的泛 函 所 网络模 型也很多 ， 其拓扑结构也千姿百态 ， 很难构造 出一个通 用 的泛 函网络来表示所有 的函数变换 。但对正交泛 函网络来 本文的主要工作是提出一种新的泛函网络模型， 即正交 泛 函网络 ， 网络 中 的神 经 元 函数 是 一 些 正 交 函数 ， 著 名 如Ｆ ｕ ｉ 级 数 、 ｅｓｌ ｏｒ ｒ ｅ Ｂ ｓｅ 函数 和 Ｌ ｇｎ ｒ 多 项 式 等 基 函数 的 线 性 ｅｅ ｄｅ 讲， 由于它的拓扑结构描述 的是一个正交 函数 变换 ， 因此我们 可用一 个统一 的通用结 构来描述所 有 的正 交泛函 网络 ， 可 也 用一个 统一 的泛 函方程 表示所有 的正交泛 函网络 ， 这就是正 交泛 函网络 的优 势所在 。因此 ， 究正交 泛 函网络 函数逼 近 研 组合 。由于正 交函数除 了具 备一般 函数 的性质 外 ， 本身还 具 到 稿 日期 ：０ ８０ —２ ２ ０ —２２ 本文 受 国家 自然科 学 基 金 （０ ６ ０ １ ， ６ ４ １０ ） 国家 民委 科 研 基 金 （８ ０ ） 广西 自然 科 学 基 金 （５ ２ ４ ） 助 项 目 。 ０ ＧＸ １和 ０４０８资 周永权 （９ ２ ， ， １ ６ 一）男 博士 ， 教授 ， 主要研究方 向为计算智能 、 神经 网络 及应用 ， — ｉ ｙ ｎ ｑ ａ ｚｏ ＠１ ６ ｃｍ； Ｅ ｍａ ： ｏ ｇ ｕｎ ｈ ｕ ２ ．ｏ 吕咏梅 （ ９ １ ）女 ， ｌ １ ８ 一 ， 硕士研究 生， 主要研究方 向为计算智能及其应用 ； 申 ? 芸 （９ １ ， ， １ ８ 一）女 硕士研究生 ， 主要研究方 向为神经 网络及其应用 。 １８ ? ３ 机理 及其学 习算法 ， 对于完 善泛 函网络基础理 论和拓广 其应 络， 通过学习来确定泛 函网络 的参 数 ， 最终实现对任意一 函数 都可用一正 交函数实现最佳逼近 。 上 面讨论 的是一元正 交 函数情 形 。对 于多元 正交 函数 ， 我们可通过 一元 正交 函数 的合成或复合来实现对 多元 函数的 逼 近 。 例 如 一 个 ｍ 元 函 数 ＿（ ， 用 ｍ 元 正 交 函 数 集 ｛ 厂 Ｘ） 可 中 用领域有 着重要的理论价值和应用背景 。 本文首先给 出正交 函数的概 念和性 质 ， 为设 计正 交泛 作 函网络的基本理论 。在 此基础 上 ， 计 出一 类正交 泛 函网络 设 模型 ， 然后 给出正交泛函 网络学习算法 ， 该算法是基于正交 函 数特性和 Ｌ ｇａ ｇ 乘 数法 ， ａ ｒｎ ｅ 通过解方程组 的方法来 确定待学 习的泛 函参数 ， 算法简单 、 效可行 。最后 ， 有 通过 一些 函数 逼 近实例 ， 算机仿真表 明 ， 计 该算 法具 有求解 简单 、 逼近 精度 高 等特点 。 （ ， Ｘ） … ， ， 中每一个 函数 可定 义为 Ｘ） 中 （ ， ｝其（ ） Ｘ 一 １（ ） － ） ｚ１ ２（ ２ … （ ） １ ２ … ｚ ；一 ， ， （） ７ 这样一来 ， 多元 函数就转化成一元正交 函数情形 。 ３ 正 交泛 函 网络 一 ２ 理论 基础 根据正交 函数 理论 ［，］ 对于任意一 函数 厂 － ， ，３ １１ ， ３４ （ ） ｆ： ５ ｚ一 （ 实数域 ）存在一个正交 多项 式 ，（ ＝ ａ １ ｚ） ａ ２ ｚ） Ｉ ３ （ ＋ … － ａ ） ｌ （ ＋ ｚ （ － ａ ３ ｚ） － ］ （ － ｚ）（ ） １ 般地 ， 泛函网络 由输入 单元层 、 存储层 、 处理层 、 出层 输 和一组连接 ５ 部分组成［ 。它对应的是泛 函变换 ， 的拓扑结 它构描述 的是一个函数变换 系统 。那么 ， 正交泛 函网络结构 除一 般泛函网络特点外 ， 它对应 的是泛 函正交变 换 ， 拓扑结构 描 其 述的是一个正交 函数变换 系统 。在实际应用 中， 根据 问题 的不 使 得 下 面 的式 子 成 立 ｌ ｉ ｍＩ（ （） （ ）。ｘ一 ０ 厂 一 ｚ ）ｄ 其 中 ㈤ ｄ 一 ｘ （） ２ 同设计不 同类型正交泛 函网络 ， 完成相应的正交 函数变换。 ３ １ 正 交 泛 函 神 经 元 网 络 模 型 ． 假设泛 函神经元 函数 ＿ ） 厂 是一个计算单元 ， 的计算模 （ 它型 如 图 １所 示 。 ／ —、 Ｘ●—一、、－ ， ＞—— ＿ ＿ — ｘ ） ／ ａ — Ｉ （ ） ｘ ｄ ／ ｉｉ １２… ｉ 厂 ｚ （ ）ｘ Ａ ，一 ，， ｛ （ ） 声 （ ） …， （ ） 是一个正交 函数序 列 。 ． ，ｚｚ ， ｚ ） ｚ （） ３ 图 １ 泛 函神 经 元 模 型 式 （ ） （ ） 明 了 任 意 一 函 数 可 由一 组 正 交 函数 序 列 和 １ 一 ３表 根据泛 函网络 的结构 特性 ， 每个 泛 函神 经元 函数都 可 以 由一些 已知基 函数 簇 的线性 组合 来 逼近 。根 据第 ２节 的知 识 ， 们可将 图 １中泛 函神经元表示 成一组 正交基 函数的线 我 系数 ａ 来惟一逼 近。若 函数 ＿ ｚ 是未 知 ， 厂 ） （ 通过 方程 （ ） 们 ３我 无法获得 系数 ａ 。恰好这种情形在动力 系统许 多复杂 建模 时 性组合 的形 式。这里 ， 我们 称该 神经 元 为正交 泛 函 神经元 。 进一步 ， 我们可将 图 １中的泛 函神经 元模型 变为 图 ２中的模 型形式 ， 即正交 泛函神经元网络模型 。 都属 于函数 － － 是未知 或难 以确 定的情形 ， 厂ｚ （） 因此我们寻找 一 种新 的方法 ， 通过输入输 出数据来 确定 系数 ｎ ， 有着重 要的应 用价值 。 接着分析 正交 函数的收敛性 。考虑下式 ： ｏ （ 一 （）ｘ ≤ｌ， ） ∑ａ ）ｄ （ｚ ≠ ｚ — ｒ（ｚ一 吼， ）（ ＋ 厂 ）ｘ ２ 『（ ｚ ｄ ｚ ）Ｉ（ 一∑ｎ ｚｄ ＿ ）ｘ 厂 （ ４ 图 ２ 正交泛 函神经元 网络模型 一 实 质 上 ， ２给 出 的 正 交 泛 函 网 络 是 图 １泛 函 网 络 的 展 图 由此 可 得 到 开形式 ， 这样显 得结 构直观明了 ， 于下 面讨论 。 便 在图 ２中， 假设输 入数据 Ｘ一｛ ， ， ｝ 输 出数据 ｚ …， ， 为 Ｙ 则该 网络 输出表达式 ，一 ∑ｎ≤Ｉ（ 。 ｚｄ ｏ ）ｘ ｆ这说 明正交 函数表达式 （ ） １ 中系数是收敛 的。 此外 ， 假设 厂 ｘ） 哦 （ （ 一 ｘ） （） ８ （） ｚ 是任 意一正交 函数 的展 开式 ， 了实 为 其 中 ，ｉ ａ 是正 交 函 数 （ 的系 数 ； （ ， （ ， ， ｘ） ｛ Ｘ） ｘ） … （ ） Ｘ） 是正交 函数集 。在正交泛 函 网络模 型 中， 途最广 泛 的 用是 一些 可 分 离 正 交 泛 函 网络 。 ３ ２ 可 分 离 正 交泛 函 网 络模 型 ．一 现最佳逼近 目标函数 ， 最优 的系数 ， 寻求 考察误差代价函数 Ｅ 厂 ） —Ｊ （ 一∑ｂ （ ）ｘ （ｚ ｉ ｚ ￣ ）ｄ 利 用 式 （ ） 于 正 交 函 数 系 数 的 表 达 式 ， （ ）可 写 成 ３关 式 ５ （ ５ ） 个 可分离正交泛函 网络结构如 图 ３ 所示 。 Ｅ— ＿ ） ｂ ｚ） ｒ 厂 一∑ （ （ ）ｄ — 厂ｚ。 ＋∑Ａ（— １ 一∑Ａ （）Ｌ ｃ ｒ ｉ ａ。 ｂ ） 口 （ ６ ） 从上 面的讨论我们 可得到 ： 对任 意一 函数都可 用一 正交 函数来实现逼 近 ， 且正交 函数表达 式中系数是惟一和有界 的。 基于这些事实 ， 将正交 函数集作 为泛函网络的基 函数集 ， 正交 函数表达式 中系数 作 为泛 函 网络 的参数 来 构建 正交 泛 函 网 图 ３ 一 个 可 分 离 正 交 泛 函 网 络模 型 设 该 网络 的输 入 数 据 为 Ｘ ｛ － ， ， ｝ 一 ｛ ｌ 一 ｚ ，ｚ… ， ｚ Ｘ， … ， ， ｍ｝通过解方程组 （ ５ ， １ ） 可求 得泛 函参数 ｛ ｌ＝１ ２ … ， ｎ ，， ｚ ， ， ｝则该 网络输出为 。… ，０ ｍ ｋ ｒ ，， ， 及 Ａ ；一１ ２ … ｝ 。由于在 第 ２节 ， 我们 已经 知道该 泛 函 （） ９ 参数是惟一 的 ， 此通过 解方 程 组 （ ５ 所 得到 解是 最优 解 。 因 １） 至 于其 他类型 的正交泛 函网络 的学习算法 ， 可仿 照该过程 给 出， 里不再赘述 。 这 （ １ｚ ， ） ∑ ∑ （ ｊ － ， ２ …， 一 ｚ ｘ） 其 中神经元 ｛ １ 一１ ２ … ， １２ 一１２ … ， 是 形如 ， ， ； ， ； ， ， ｍ｝（） 的正交多项式 。 １式 ４ 正交泛 函网络 学 习算法 本节我们 以可分 离正 交泛 函 网络 为例来 给出其 学 习算 法 。在图 ３所示 的网络 结构 中， 中每一个 泛 函神经元 可 以 其是 图 １ 示 的模 型 ， 可 以 是 变 形 后 图 ２所 示 的 模 型 。 以 下 所 也 分两种情形 ： ５ 函数逼 近实 例 本 节 仅 考 虑 正 交 泛 函 网络 函数 的逼 近 性 能 。为 了验 证 本 文 所 提 出 的 正 交 泛 函 网络 学 习算 法 的有 效 性 ， 义 均 方 差 ： 定 厂丁—Ｆ ———————一 Ｒ Ｓ一 ∑Ｉ一 ＭＥ√ ｚ习样数 。 （） １ ６ 其中 表示 网络 的输 出 ， 表示 网络 的实 际输 出， Ｐ表示 学 ①若泛 函神经元是 图 ２所 示 的模 型 ， 事先给 定一 组正 交 基 函数为 ｛ （ ｌ一１２ …， ；一１ ２ … ， ｚ ， ， ， 似 －） ， ， ｋ ， ， ｍ；一１２ … Ｋ｝ ｚ 例 １离散数据情形 ） 选用时 间序列 中典型 的 Ｈｅ ｏ （ ｎ ｎ映 射为例 。 Ｈｅｏ 序 列 系 统 为 ＿ ｎｎ ］ Ｌ ｚ １ １４ 一 — ． １ ０ ３ ２ ＋ ～ｘ 于是， 在图 ３ 所示的模型中， 每一个泛函神经元为 一五ｎ ， （ ｊ ， 式 （） 写 成 ｘ）则 ９可Ｐ （ １ｚ ， ， 一 ∑ ∑ ａｊ （ ｉ ｋ ｚ ， ２… ｚ ） ｌ ／ ｆ ｘ） （０ １） 在 初 始 值 ｚ 一 ０ ５ ２ 一 ０ ５给定 的 情 况 下 ， ｎ ｎ映 射 的 时 。 ． ， ． １ ７ Ｈｅｏ ②若 图 ３ 所示 的模 型 中每一个泛 函神经元本身就 是给定 的正 交 基 函数 为 间序列点 由图 ４ 出。 给 ｛ ） 一１ ２ … ， ； ， ， ， 谊 （ ， Ｉ ， ， 忌 一１ ２ … ｍ｝ 图３ 所示 的泛 函网络的输 出为 Ｐ （１－ ， ， ） － ， ２ … 一 ｚ ｚ ｎ （ ） ｘｉ （ １ １）０ ４． Ｊ Ｉ 一 Ｉ ＾ ＾ ／ ｆ Ｉ Ｉｌ Ｉ２Ｏ ４０ ６０ ８ ０ １｛ ３ ０ 不论 哪种情 形 ， 系数代表是 泛函网络的参数 ， 通过学习来确定 最优 的参数 。 在第②种情形下 ， 我们给 出可分 离正交 泛函 网络学 习算 法 。考 虑误 差代价 函数 一 一 图 ４ Ｈｅ ｏ ｎ ｎ映射图 我们用正交 泛 函网络模 型 （ 图 ５ 来 进行 计算 ， 中每 如 ） 其 个泛 函神 经元 函数 都是正交泛 函神经元 网络模 型 。选取 １ ０ ０ 个样 本点作 为学 习样 本 ， 采用 Ｍａｈ ｍａｉ ５编程 ， 真结果 ｔｅ ｔ ｃ 仿如 图 ５ 表 ２ 示 。 为 了便 于 比较 ， ５为 给 出 泛 函 网 络 模 和 所 图 （ ， ２ … ， ｍ 一 一 ｌ Ｘ ， Ｘ ） ｎ 声 ｘｐ （ ２ （ ｊ） １ ） 其中， Ｐ为 当前 训 练 模 式 数 ， 是 第 个 训 练 模 式 的 期 望 输 Ｙ 出 。 为 了 找 到 最 优 的 泛 函参 数 ， 小 化 误 差 平 方 和 为 最 型情形计算机仿 真（ １结果 。 表 ） Ｅ － ｅ 专 ［一 善ｑ ｚ３ ｃ￣ ， 善 善 ａ ｉ 一Ａ 一 （） ｐ在这里 ， 网络 的初始值 为 设（ ｊ） ｘ ｏ 一 。 一 １ ２， ， ， ， … ｍ （） １ ３ （ ４ １） Ｘｎ一 １ 为 了保证 泛函网络表达式 的唯一性 ， 需要给 出网络 的初始值 。 一Ｘ 一 ２ 图 ５ 一个五层的正交泛函网络模 型 表 １ Ｃ ｓｉｏ模 型 仿 真 结 果 ａｔｌ ｌ 其 中 ， 是给定的一些常数 。我们 的 目标是 计算 能够使 得误 差 函数尽量 小的网络参数 ： ｛ ｌ一１ ２ … ， ；一１２ … ， ａ ， ， ｋ ， ， ｍ｝ ， 利用 Ｌ ｇａｇ ａｒｎ ｅ乘数法 ， 过加惩 罚项式 （ ４ 到（ ３ 中 ， 通 １ ） １ ） 构造 辅 助 函数 如 下 ： 一 Ｅ （ 乃 ） 专 备 ％ ０ 善 （ ） 。 善［一 ， ＋ 。 一 （ ） ＋鲁 （ （ ｏ一 ） ］ ｘ） ｊＬ ｇ ｎ ｒ ｏ ｙ ｏ ａｓ ｂ ｓｓ ｛ ， ， ｅ ｅ ｄ ｅｐ ｌｎ ｍｉｌ ａ ｉ ： １ ｘ 分别对泛 函参 数 ｛ ｌ一１２ …， ；一１ ２ … ， 和参数 求 ａ ， ， 是 ， ， ｍ｝ 偏导数 ， 得 专（。１ ５ ） ３＿ ， Ｘ ） ｘ ） ３ ÷（ ｆ － ＿喜 一ｌ 一 ，ｆｘ 专 （（ ｏ 圣 ，ｊ Ｇ ｊ ? ｌ ） ａ （ ｃ＋ ｑ 声（５ １） ２ Ｃｈ ｂ ｓ ｅ ｏ ｙ ｏ ａｓ ｂ ｓｓ ｛ ， ， Ｘ — １ ４ ０ ｅ ｙ ｈ ｖ ｐ ｌｎ ｍｉｌ ａ ｉ ： ｌ Ｘ ２ ２ ，ｘ ３ ４ Ｆ ｕ ｉ ｅ ｉｓ ｛ ， ｉｘ Ｃ Ｓ ｓｎ ｘ ｃ ｓ ｘ ０ ｒ ｒＳ ｒｅ ： １ ｓ ， Ｏ Ｘ，ｉ２ ， ｏ ２ ｝ ｅ ｎ Ｆ ｕ ｉ ｅ ｉｓ ｛ ， ｉｘ Ｃ Ｓ ｓｎ Ｘ Ｃ ｓ Ｘ ｏ ｒ ｒＳ ｒｅ ： １ ｓ ， Ｏ Ｘ，ｉ２ ， Ｏ ２ ， ｅ ｎｓｎ ｘ ｃ ｓ ｘ ｉ３ ， ０ ３ ） Ａ ＾ （ ｊ） （ ｘ０ 一 ） （ ｊ） 如 ｘｏ 一ｏ 一 。 与 Ｃ ｓｉｏ ａｔｌ 模型相 比较 ， ｌ 仿真 结果表 明 ， 选取正 交泛 函网 络具有更 高的逼近 精度 。 这样 ， 任给定一些正交基 函数 ｛ （ ） 一１ ２ … ， 一１ ２ ％ ｌ ， ， ； ，，］ ? ４Ｏ 例 ２ 连续 函数 的情形 ） 选用常用 函数 （ （ ） 和 ２ １ ｓ （ ） ｃ ｓｘ ） ２ ｝ 一（ ，ｉ ｘ ，ｏ （ ） 来逼近神经元 函数 ｆ ｘ ￣ ｇ ｎ （ ）ｌ ｌ （ ） 用 Ｍａｈ ｍａｉ ５进 行 计 算 ， 到 均 方 差 （ ｚ ， ｔｅ ｔ ｃ 得 ＲＭＳ 一 Ｅ） ０００１ ， ． ０ ３ １ 逼近函数和原 函数的逼近 图形如 图 ７ 所示 。 ｙ ｉ（ ） ∈［ ，７ ￣ｓ ｘ ｎ Ｏ２］ ｃ我们选用具有一个输 入 、 个输 出且含 有两个 神经 元的 一 正 交 泛 函 网 络 对 该 函数 进 行 逼 近 ， 图 ６所 示 。 如 ／、 一一 ＼ ， ／ 图 ６ 一 个 输 入 、 个 输 出 的正 交 泛 函 网络 一 ＼ － ／ ＇ ， ／ １ 首先 ， 随机地给定一组训练样本 数据 ｛ ， ） ｉ ｌ２ （ 【— ， ， … ， ２ ）其 中 一＿ ） 见表 ３ ０， 厂 （ ， 。表 ３ 训练 样 本 数 据 图 ７ 函数 的 逼 近 图 形 例 ３ 逼 近 连 续 函数 —ｃ ｓｓ （ ） ， ｏ （ｉ ｘ ） ∈Ｌ ， ｎ Ｏ１ 我们选用 具有两个输人 、 一个 输 出且含有 两个神 经元 的 正交 泛函网络对 该 函数进行 逼 近（ 图 ５ 。首先 ， 见 ） 我们 给 出 一 组训 练样 对 ｛ 乩 ， ， ） ｉ １ ２ … ，０ ， 中 Ｘ （ 地 ｊ一 ， ， ２ ） 其 Ｏ一ｆ（ １，２ ， 表 ４ ｚ ｚ 如 ） 。 若选用正 交基 函数 西 一 ｛ｉ （ ， Ｏ （ ） ｓ （ｚ ，ｏ １ ｓ ） ＣＳ Ｌ ，ｉ ２ ） ｃｓ ｎ ｚ ｎ表 ４ 用于逼近的训练数据对 我们选择用于逼近泛 函神经元 的两组 正交 基函数为 １ ｛ ， ｉ （ ） Ｃ Ｓ ｚ） ｓ （ ｘ） Ｃ Ｓ ２ ｝ 一 （ ， ｉ 一 １ ｓ ｘ ， Ｏ （ ， ｉ ２ ， Ｏ （ ） ； ｎ ｎ １ｓ ｎ（ ，ｏ （ ） ｚ） ｃ ｓ ｘ） Ｆ０ＲＭ Ａ ＫＡ ， ０ ５， ３ ０ ３９ ｒＩ ２ ０ ７： ９ — ３ Ｅ ］ Ｚ ｏ ｎ ｓ ｈ ｕＹｏ ｇ—ｑ ａ Ｊａ ｉ ｅ ｅｇ．Ａｐ ｒｘｍａｅＦ ｃｏｉ ｔ ｎ ｕｎ， ｉｏＬ — ｈｎ ｐｏ ｉ ｔ ａｔｒ ａｉ ｚ ｏＬｅ ｒ ｉ ｇＡｌ ｏ ｉｈ ｏ ｕｌｉａｉｔ ｌｎ ｍ ｉｌ ｓｄ ｏ ｎ — ａｎ ｎ ｇ ｒｔ ｍ ｆＭ ｔｖ ｒａ ｅＰｏｙ ｏ ａｓＢａ ｅ ｎ Ｆｕ ｃ 用 Ｍａｈ ｍａｉ ｔｅ ｔ ５进 行 计 算 ，得 到 均 方 差 （ ＭＳ ｃ Ｒ Ｅ）一 ０ ０ ０ １ ６逼近 函数 和原 函数的逼近图形如图 ８所示 。 ．００１ ， ｔ ｎ １ Ｎｅｗｏ ｋ ．Ｊ ｕ ｎ ｌ ｆ ｎｏ ｍ ｔ ｎ ｎ Ｃ ｍ ｕａｉ ａ ｉ ａ ｏ ｔ ｒｓ ｏｒａ ｏ Ｉｆ ｒ ａｉ ａ ｄ ｏ ｐ ｔｔ ｎ ｌ ｏ ｏ Ｃ ｅ ｃ ， ０ ５， １ ２ ５ ２ ０ Ｓ ｉｎ ｅ ２ ０ ２（ ）： ０ — １ ［ ］ Ｚ ｏ ｏ ｇｑ ａ ， ｅ ｇｘ ， ａ ｉ ｈ ｎ ． ｅ ｒｌ ｍ ｕ ６ ｈ ｕ ｎ －ｕ ｎ Ｈｅ ｎ －ｕ Ｊ ｏＬ— ｅ ｇ Ａ Ｎ ｕａ Ｃ ｐ — Ｙ Ｄ ｉ ｃ ｏｔ ｔ ｎ Ｓ ｒ ｃｕｒ ｏ Ｓ ｌｉｇ Ｆｕ ｔ ａ ｕ ｔｏ ｓ ａｉ ｔｕ ｔ ｅ ｆ ｒ ｏ ｖｎ ｎｃｉ ｌＥｑ ａｉｎ ｗｉ Ｆｕ ｃ ｏ ｏｎ ｔ ｈ ｎ ｔｏ ａ ｔ ｒ ｓ Ｊ ｕｒ ｌ ｆＩ ｏ ｍａ ｉｎ ａ ｄ Ｃ ｍｐ ｔ ｔｏ ａ ｉ ｉｎ ｌ Ｎｅ ｗｏ ｋ ． ｏ ｎａ ｎｆｒ ｔｏ ｎ ｏ ｏ ｕ ａｉｎ ｌＳ — Ｃ ｅ ｅ ， ０ ５， ４） ８ ５ ８ ２ ｎ ｅ ２ ０ ２（ ： ３ ４ ［ ］ Ｈ ｅ ｇ Ｕ Ｎ ｎ ｈ ｎ ， ｈ ｕ Ｙ ｎ —ｕ ｒ Ａ ｐｏ ｉ ａｅ ａ— ７ ｅ ｎ— ， ｏ ｇＺ ｅ ｇ Ｚ ｏ ｏ ｇｑ ａ ｐ ｒｘ ｔ Ｆ ｃ Ｄ Ｘ Ｌ ｍ ｔ ｒｚ ｔｏ Ｕｎｉａｉｔ Ｐｏ ｙ ｍ ｉｌ Ｕ ｓｎ Ｆｕ ｔ ａ Ｎｅ— ｏ ｉａ ｉｎ ｏｆ ｖ ｒａ ｅ ｌｎｏ ａｓ ｉｇ ｎｃｉ １ ｏｎ ｔ ｗｏ ｋ ． ｏ ｒ ａ ｆ ｎ ｏ ｍａ ｉｎａ ｄＣ ｍｐ ｔｔ ｎ ｌ ｃｅ ｃ ， ０ ５ ｒ ｓ Ｊ ｕ ｎ ｌ ｆ ｒ ｔ ｎ ｏ ｕ ａ ｉ ａ Ｓ ｉ ｅ ２ ０ ， ｏＩ ｏ ｏ ｎ２（ ）： ７ — ７ ３ ４ ３４ ９ 图 ８ 函数 的逼 近效 果 Ｅ ］ Ｚ ｏ ｏ ｇ ｕ ｎ Ｊ ｏＬ— ｅ ｇ Ａ ｐ ｃｔ ｎｏ ｕ ｃｉ ａ Ｎ ｔ ８ ｈ ｕＹ ｎ— ａ ，ｉ ｉ ｈｎ ． ｐ ｌ ａ ｏ ｆ ｎ ｔ ｎ ｌ ｅ ｑ ａ ｃ ｉ ｉ Ｆ ｏ — ｗｏｋ ｏＳ ｌｉｇＦ ｎ ｔ ｎ ｌＥ ｕ ｔ ｎ ， ｒｃｅｉｇ ０ ５Ｉ— ｒｓｔ ｖｎ ｕ ｃｉ ａ ｑ ａｉ ｓ Ｐ ｏ ｅｄｎ ｓ２０ ｎ ｏ ｏ ｏｔｒ ａ ｉｎ ｌ ｏ ｎ ｅｅ ｃ ｏ Ｎｅ ｒ ｌ ｅｎ ｔｏ ａ Ｃ ｆｒ ｎ ｅ ｎ ｕ ａ Ｎｅ ｗｏ ｋ ＆ Ｂｒｉ， Ｉ ｔ ｒｓ ａｎ ＥＥＥ 从上面 的仿真实 例可得 出 ， 正交 泛 函网络模 型用 于 函数 逼近是可行 的， 且有更高的逼近精度 。 而 Ｐ ｅｓ Ｂ ｉｎ ｈｎ ， ｔ ２ ０ ： ３ ８ １ ８ ｒ ｓ ， ｅ ｉｇ Ｃ ｉ ａ Ｏｃ． ０ ５ １ ７ — ３ ３ ｊ 结束语 本文提 出一 种正交 泛 函网络模 型 ， 给出 了正交 ［ ］ 周永权． ９ 一种基于泛 函网络的多项 式 Ｅ ｃｄ ａ ｕ ｌ ｅｎ算法． ｉ 计算 机科 学 ，０ ６３ （ ）１ １１ ４ ２ ０ ，３ ９ ：３ —３ 泛函网络 的学习算 法 ， 而网络 的参 数是通过 求解一组 线性方 ［Ｏ １］周永权 ， 李成 ， 陶深． ｕ ｚ 焦 李 Ｆ ｚｙ插值 及其 Ｆ ｚｙ泛 函网络构 造 ｕｚ理 论 ． 算 机 科 学 ，０ ７ ３ （） ５９ 计 ２ ０ ，４ ７ ：— 程组 得到 ， 算法简单 可行 。仿 真结果 验证 了该算法 在 函数逼 近 方面具有很高的逼近精度 。 ［１ １］周永权 ， 焦李成． 基于遗传规划实现泛函网络神经元的函数类 型 优化． 计算机科学 ，０ ７ ３ （） ７９ ２ ０ ，４ ２ ：－ 参 考 文 献 ［］ Ｃ ｓｌ Ｆ ｎｔ ｎｌ ｅ ｏｋ ． ｅｒ ｒｃｓ｜ ｅｔ ｓ， １ ａｔｌ Ｅ． ｕｃｉ ａＮ ｔ ｒｓ Ｎ ｕａＰｏｅ ｎ Ｌ ｔ ｒ ｉ ｏ ｏ ｗ １ ｓｇ ｅ１ ９ ７： ５ — ５ ９ ８， １ １ １ ９ Ｅ２ １ ］周永权 ， 李 成． 次 泛 函 网络 整体 学 习算 法． 算 机 学 报 ， 焦 层 计 ２ ０ ２ ８ １ ７ —２ ６ ０ ５， ８（ ）： ２ ７ １ ８ ［ ３ Ｃ ｕａ ｔ ， ｌｅｔ ． ｅｈ ｄ ｆ ｔ ｅ ｔ ａ Ｐ ｙｉ ．Ｎｅ １ ］ ｏ ｒｎ Ｈｉ ｒＤ Ｍ ｔｏ ｓ ｈ ｍａｉ ｌ ｈ ｓ ｓ Ｒ ｂ ｏ Ｍａ ｃ ｃ ｗ Ｙｏ ｋ：ｎ ｅ ｓｉｎ ｅＰｕｂｉｈｅｓ １ ５ ４９１ １ ｒ Ｉ ｔ ｒｃｅ ｃ ｌ ｓ ｒ ， ９ ５： — １ ［ ］ Ｃ ｓｉｏＥ， ｏ ｏＡ， ｕｉｒｅ Ｍ ， ｔ １ ｕ ｃｉｎ １ ｔ ｒ ｓ ２ ａｔｌ Ｃ ｂ Ｃ ｔ ｒｚ ｅ ．Ｆ ｎｔ ａ ｗｏｋ ｌ ６ Ｊ ａ ｏ Ｎｅｗｉｈ Ａｐ ｌ ａ ｉｎ ． ｕ ｒＡｃ ｄ ｍ ｉ ｂｉｈｅｓ． ９ ｔ ｐｉ ｔｏ ｓ Ｋｌ ｗｅ ａ ｅ ｃＰｕ ｌ ｃ ｓ ｒ １ ９ ９ ［４ １ ］Ｈｉ ｅ ｒｎ Ａｄ ａ ｔｄＣ ｌ ｌｓ ｏ ｐｉ ｔ ｎ ． ｎ ｌｗｏ ｄ ｌ ｂａ ｄＦＢ ｖｎ ｅ ａｃ ｕ ｒ ｄ ｕ ｆ Ａｐ ｌ ａｉ ｓＥ ｇｅ ｏ ｃ ｏＣｌ ｆ ， ｉ ｓ ＮＪ： ｅ ｔｃ－ ａｌ１ ７ ｆ Ｐｒ ｎ ｉｅＨ ｌ， ６ ９ ［ ］ Ｚ ｏ ｎ ｑ ａ Ｊａ ｉ ｃ ｅ ｇ．ＩｔｒｏａｉｎＭｅｈ ｎｓ ｏ ３ ｈ ｕＹｏ ｇ ｕ ｎ， ｉ Ｌ — ｈｎ ｏ ｎｅｐｌｔ ｃ ａｉｍ ｆ ｏＦｕ ｃｉｎ ｌＮｅｗｏ ｋｓ Ｌｅ ｔ ｒ ｔｓｉ ｏｍｐ ｔ ｒＳ ｉｎ ｅ３ ９ ． ｎ ｔｏ ａ ｔ ｒ ． ｃ ｕ ｅＮｏ ｅ ｎ Ｃ ｕ ｅ ｃｅ ｃ ６ ７ ２ ０ ４— １ ０ ５： ５ ５ ［５ １ ］Ｙａｇ ｈｏ ｓｕ ｇ， ｅｇ ｉｇ ｓ ｉｗ． ｎ Ｓ ｉｗ— ｈ ｎ Ｔｓｎ Ｃｈｎ — ｈｏ ＡｎＯｒｈ ｇｎ ｌ ｕａ ｔｏ ｏ ａＮｅ ｒｌ Ｎｅｗｏ ｋ ｆ ｒ Ｆｕ ｔ Ａｐ ｒ ｉ ｔ ｎ ＥＥＥ Ｔｒｎｓｃ ｉｎ ｎ ｔ ｒ ｏ ｎｃｉ ｏｎ ｐ ｏｘｍａｉ ．Ｉ ｏ ａ ａ ｔｏ ｓ ｏ Ｓ ｓｅ ，Ｍ ａ ａ Ｃｙ ｒ ｅ ｉｓＰａｔ ｙ ｔ ｍｓ ｎ ｎｄ ｂｅｎ ｔｃ－ ｒ Ｂ： ｂ ｒ ｅｉｓ ９ ６，２ Ｃｙ ｅ ｎ ｔｃ ，１ ９ ６ （ ）： ７ — ８ ５ ７ ９７５ ? ［ ］ Ｚ ｏ ｎ ｑ ａ Ｈｅ ｎ Ｘ Ｎｏ ｇＺ ｅ ｇ．Ａｐ ｌ ａｉｎｏ ４ ｈ ｕＹｏｇ ｕ ｎ， ｇ— Ｕ， ｎ ｈ ｎ Ｄｅ ｐｉ ｔ ｆ ｃ ｏＦｕ ｃｉｎ ａ Ｎｅｗｏ ｋ Ｏ Ｓ ｌｉｇ Ｃｌｓ ｉｃ ｔｏ ｏ ｌｍｓ ｎ ｔｏ １ ｔ ｒ ｓ ｔ ｏｖｎ ａ ｓｆ ａｉｎ Ｐｒ ｂｅ ．ＥＮ — ｉ １ ? ４１
下载本文档需要登录，并付出相应积分。如何获取积分?
选择“Disable on www.wenxuecity.com”
选择“don't run on pages on this domain”
