JP4682759B2 - Playback apparatus, playback method, and playback program - Google Patents

Playback apparatus, playback method, and playback program Download PDF

Info

Publication number
JP4682759B2
JP4682759B2 JP2005260742A JP2005260742A JP4682759B2 JP 4682759 B2 JP4682759 B2 JP 4682759B2 JP 2005260742 A JP2005260742 A JP 2005260742A JP 2005260742 A JP2005260742 A JP 2005260742A JP 4682759 B2 JP4682759 B2 JP 4682759B2
Authority
JP
Japan
Prior art keywords
frame
playback
picture
target
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005260742A
Other languages
Japanese (ja)
Other versions
JP2007073151A (en
Inventor
仁志 内藤
学 畠中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005260742A priority Critical patent/JP4682759B2/en
Priority to US11/516,201 priority patent/US7881583B2/en
Priority to EP20060254654 priority patent/EP1763239A3/en
Priority to CNB2006100641398A priority patent/CN100556117C/en
Publication of JP2007073151A publication Critical patent/JP2007073151A/en
Application granted granted Critical
Publication of JP4682759B2 publication Critical patent/JP4682759B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

この発明は、順方向または逆方向の可変速再生をより高画質に行うようにした再生装置、再生方法および再生プログラムに関する。   The present invention relates to a playback apparatus, a playback method, and a playback program that can perform forward or reverse variable speed playback with higher image quality.

ディジタルビデオ信号およびディジタルオーディオ信号を記録媒体に記録し、また、記録媒体から再生するようなデータ記録再生装置が知られている。ディジタルビデオ信号およびディジタルオーディオ信号を記録するための記録媒体としては、従来から、磁気テープのようなシリアルアクセスを行う記録媒体が多く用いられてきたが、近年では、光ディスク、ハードディスク、半導体メモリなどといった、ランダムアクセス可能な記録媒体が、ディジタルビデオ信号およびディジタルオーディオ信号の記録再生に多く用いられるようになってきている。   2. Description of the Related Art A data recording / reproducing apparatus that records a digital video signal and a digital audio signal on a recording medium and reproduces the signal from the recording medium is known. As a recording medium for recording a digital video signal and a digital audio signal, a recording medium that performs serial access such as a magnetic tape has been conventionally used. However, in recent years, an optical disk, a hard disk, a semiconductor memory, etc. Randomly accessible recording media are often used for recording and reproducing digital video signals and digital audio signals.

ディジタルビデオ信号は、データ容量が膨大となるため、所定の方式で圧縮符号化されて記録媒体に記録されるのが一般的である。近年では、MPEG2(Moving Picture Experts Group 2)方式が圧縮符号化の標準的な方式として知られている。MPEG2では、DCT(Discrete Cosine Transform)と動き補償とを用いてディジタルビデオ信号の圧縮符号化を行い、さらに可変長符号を用いてデータの圧縮率を高めている。   Since a digital video signal has an enormous data capacity, it is generally compressed and encoded by a predetermined method and recorded on a recording medium. In recent years, MPEG2 (Moving Picture Experts Group 2) system is known as a standard system for compression coding. In MPEG2, a digital video signal is compression-encoded using DCT (Discrete Cosine Transform) and motion compensation, and a data compression rate is increased using a variable-length code.

MPEG2のデータストリーム構造について、概略的に説明する。MPEG2は、動き補償予測符号化と、DCTによる圧縮符号化とを組み合わせたものである。MPEG2のデータ構造は、階層構造をなしており、下位から、ブロック層、マクロブロック層、スライス層、ピクチャ層、GOP層およびシーケンス層となっている。ブロック層は、DCTを行う単位であるDCTブロックからなる。マクロブロック層は、複数のDCTブロックで構成される。スライス層は、ヘッダ部と、1以上のマクロブロックより構成される。ピクチャ層は、ヘッダ部と、1以上のスライスとから構成される。ピクチャは、1画面に対応する。   The data stream structure of MPEG2 will be schematically described. MPEG2 is a combination of motion compensation predictive coding and compression coding by DCT. The data structure of MPEG2 has a hierarchical structure, and from the lower order is a block layer, a macroblock layer, a slice layer, a picture layer, a GOP layer, and a sequence layer. The block layer is composed of DCT blocks that are units for performing DCT. The macroblock layer is composed of a plurality of DCT blocks. The slice layer is composed of a header part and one or more macroblocks. The picture layer is composed of a header part and one or more slices. A picture corresponds to one screen.

GOP層は、ヘッダ部と、フレーム内符号化に基づくピクチャであるI(Intra-coded)ピクチャと、予測符号化に基づくピクチャであるP(Predictive-coded)ピクチャB(Bi-directionally predictive coded)ピクチャとから構成される。Iピクチャは、それ自身の情報のみでデコードが可能であり、PおよびBピクチャは、基準画像として前あるいは前後の画像が必要とされ、単独ではデコードされない。例えばPピクチャは、自身より時間的に前のIピクチャまたはPピクチャを基準画像として用いてデコードされる。また、Bピクチャは、自身の前後のIピクチャまたはPピクチャの2枚のピクチャを基準画像として用いてデコードされる。最低1枚のIピクチャを含むそれ自身で完結したグループをGOP(Group Of Picture)と呼び、MPEGのストリームにおいて独立してアクセス可能な最小の単位とされる。   The GOP layer includes a header part, an I (Intra-coded) picture that is a picture based on intra-frame coding, and a P (Predictive-coded) picture B (Bi-directionally predictive coded) picture that is a picture based on predictive coding. It consists of. The I picture can be decoded only by its own information, and the P and B pictures require the previous or previous image as a reference image and are not decoded alone. For example, a P picture is decoded using an I picture or a P picture temporally prior to itself as a reference image. In addition, the B picture is decoded using two pictures, an I picture or a P picture before and after itself, as reference pictures. A group completed by itself including at least one I picture is called GOP (Group Of Picture), and is the smallest unit that can be independently accessed in an MPEG stream.

GOPには1または複数のピクチャから構成される。以下では、便宜上、1枚のIピクチャのみで構成されるGOPをシングルGOPと呼び、Iピクチャと、Pおよび/またはBピクチャとからなる複数のピクチャで構成されるGOPをロングGOPと呼ぶことにする。シングルGOPでは、GOPをIピクチャのみから構成することで、フレーム単位での編集が容易とされると共に、フレーム間の予測符号化を行わないために、より高画質を得ることができる。一方、ロングGOPでは、フレーム間の予測符号化を行うために、圧縮効率がよいという利点がある。   A GOP is composed of one or more pictures. Hereinafter, for convenience, a GOP composed of only one I picture will be referred to as a single GOP, and a GOP composed of a plurality of pictures composed of an I picture and P and / or B pictures will be referred to as a long GOP. To do. In the single GOP, by configuring the GOP only from the I picture, editing in units of frames is facilitated, and since the predictive coding between frames is not performed, higher image quality can be obtained. On the other hand, long GOP has the advantage of good compression efficiency because it performs predictive coding between frames.

なお、ロングGOPにおいて、GOP内で完全にデコードが可能な、閉じた構造を持つクローズドGOPと、デコードの際に符号化順で1つ前のGOPの情報を用いることができるオープンGOPとの2種類がある。オープンGOPは、クローズドGOPと比較して、より多くの情報を用いてデコードできるため高画質を得られ、一般的に用いられている。以下では、単に「GOP」と記述した場合には、特に記載のない限り、このオープンGOPを指すものとする。   In a long GOP, a closed GOP having a closed structure that can be completely decoded within the GOP, and an open GOP that can use information of the previous GOP in the coding order at the time of decoding. There are types. An open GOP can be decoded using more information than a closed GOP, so that a high image quality can be obtained and is generally used. In the following, when “GOP” is simply described, this open GOP is indicated unless otherwise specified.

ビデオ信号のフォーマットとして、従来から、ビットレートが25Mbps(メガビットパーセカンド)のSD(Standard Definition)フォーマットが知られている。特に放送局などで使用される映像機器においては、SDフォーマットのビデオ信号を上述したシングルGOPで用い、高画質と高精度の編集環境とを実現していた。SDフォーマットのビデオ信号は、フレーム毎のビットレートが固定の固定ビットレートが適用される。   As a video signal format, an SD (Standard Definition) format having a bit rate of 25 Mbps (megabit second) is conventionally known. Particularly in video equipment used in broadcasting stations and the like, an SD format video signal is used in the single GOP described above to achieve a high image quality and a highly accurate editing environment. A fixed bit rate with a fixed bit rate for each frame is applied to an SD format video signal.

一方、近年では、ディジタルハイビジョン放送などの実施に伴い、SDフォーマットより高解像度とされた、HD(High Definition)フォーマットが用いられるようになってきた。HDフォーマットは、高解像度に伴いビットレートが高くなっており、シングルGOPでは記録媒体に対して長時間の記録ができない。そこで、HDフォーマットのビデオ信号を上述したロングGOPで用いる。ロングGOPでは、予測符号化を用いたフレーム間圧縮を行うため、フレーム毎にビットレートが異なる可変ビットレートとされる。   On the other hand, in recent years, with the implementation of digital high-definition broadcasting and the like, the HD (High Definition) format, which has a higher resolution than the SD format, has come to be used. The HD format has a high bit rate with high resolution, and a single GOP cannot record for a long time on a recording medium. Therefore, an HD format video signal is used in the above-described long GOP. In the long GOP, inter-frame compression using predictive encoding is performed, so that the variable bit rate is different for each frame.

ところで、ビデオ信号の編集の際には、IN点やOUT点といった編集点を決めるために、フレーム単位での頭出しが行われる。そのためには、順方向および逆方向の再生方向のそれぞれにおいて、再生速度が1倍速以下の可変速再生が必要となる。SDフォーマットのように、シングルGOPを用いている場合には、それぞれのフレームを独立してデコード可能なので、1倍速以下の可変速再生について、特に問題が発生することがない。すなわち、シングルGOPの場合、少なくとも表示するフレームだけをデコードすれば済むからである。   By the way, when editing a video signal, cueing is performed in units of frames in order to determine editing points such as IN points and OUT points. For this purpose, variable-speed playback with a playback speed of 1 × or less is required in each of the forward and reverse playback directions. When a single GOP is used as in the SD format, each frame can be decoded independently, so that there is no particular problem with variable speed playback at 1 × speed or lower. That is, in the case of a single GOP, at least only the frame to be displayed needs to be decoded.

一方、HDフォーマットのように、ロングGOPを用いている場合には、上述のSDフォーマットのようにそれぞれのフレームを独立してデコードすることができない。図16を用いて、ロングGOPの場合のデコード処理について説明する。ここでは、1GOPが1枚のIピクチャ、4枚のPピクチャおよび10枚のBピクチャの、計15枚のピクチャから構成されるものとする。GOP内のI、PおよびBピクチャの表示順は、図16Aに一例が示されるように、「B01234567891011121314」のようになる。なお、添え字は表示順を示す。 On the other hand, when a long GOP is used as in the HD format, each frame cannot be independently decoded as in the SD format described above. Decoding processing in the case of a long GOP will be described with reference to FIG. Here, it is assumed that 1 GOP is composed of a total of 15 pictures, one I picture, four P pictures, and 10 B pictures. As shown in FIG. 16A, the display order of the I, P, and B pictures in the GOP is “B 0 B 1 I 2 B 3 B 4 P 5 B 6 B 7 P 8 B 9 B 10 P 11 B is as 12 B 13 P 14 ". The subscript indicates the display order.

この例では、最初の2枚のB0ピクチャおよびB1ピクチャは、1つ前のGOPにおける最後尾のP14ピクチャと、このGOP内のI2ピクチャを用いて予測されデコードされたピクチャである。GOP内の最初のP5ピクチャは、I2ピクチャから予測されデコードされたピクチャである。他のP8ピクチャ、P11ピクチャおよびP14は、それぞれ1つ前のPピクチャを用いて予測されデコードされたピクチャである。また、Iピクチャ以降の各Bピクチャは、それぞれ前後のIおよび/またはPピクチャから予測されデコードされたピクチャである。 In this example, the first two B 0 and B 1 pictures are predicted and decoded using the last P 14 picture in the previous GOP and the I 2 picture in this GOP. . The first P 5 picture in the GOP is a picture predicted and decoded from the I 2 picture. Other P 8 picture, P 11 picture and P 14 are pictures decoded is predicted by using the preceding P-picture, respectively. Each B picture after the I picture is a picture predicted and decoded from the preceding and following I and / or P pictures.

一方、Bピクチャは、時間的に前後のIまたはPピクチャを用いて予測されデコードされるため、ストリームや記録媒体上におけるI、PおよびBピクチャの並び順は、デコーダにおけるデコードの順序を考慮して決める必要がある。すなわち、BピクチャをデコードするためのIおよび/またはPピクチャは、当該Bピクチャよりも常に先にデコードされていなければならない。   On the other hand, since B pictures are predicted and decoded using temporally preceding and following I or P pictures, the arrangement order of I, P, and B pictures on a stream or recording medium takes into account the decoding order in the decoder. It is necessary to decide. That is, an I and / or P picture for decoding a B picture must always be decoded before the B picture.

上述の例では、ストリームや記録媒体上の各ピクチャの配列は、図16Bに例示されるように、「I20153486711910141213」のようになり、この順でデコーダに入力される。なお、添え字は、図16Aに対応し、表示順を示す。 In the above example, the arrangement of each picture on the stream or the recording medium is “I 2 B 0 B 1 P 5 B 3 B 4 P 8 B 6 B 7 P 11 B 9 B as illustrated in FIG. 16B. 10 P 14 B 12 B 13 ”and are input to the decoder in this order. The subscripts correspond to FIG. 16A and indicate the display order.

デコーダにおけるデコード処理は、図16Cに示されるように、先ずI2ピクチャをデコードし、デコードされたこのI2ピクチャと1つ前のGOPにおける最後尾(表示順)のP14ピクチャとによりB0ピクチャおよびB1ピクチャを予測しデコードする。そして、B0ピクチャおよびB1ピクチャをデコードされた順にデコーダから出力し、次にI2ピクチャを出力する。B1ピクチャが出力されると、次にP5ピクチャがI2ピクチャを用いて予測されデコードされる。そして、I2ピクチャおよびP5ピクチャを用いてB3ピクチャおよびB4ピクチャが予測されデコードされる。そして、デコードされたB3ピクチャおよびB4ピクチャをデコードされた順にデコーダから出力し、次にP5ピクチャを出力する。 In the decoding process in the decoder, as shown in FIG. 16C, the I 2 picture is first decoded, and the decoded I 2 picture and the last P 14 picture in the previous GOP (display order) are B 0. Predict and decode pictures and B 1 pictures. Then, the B 0 picture and the B 1 picture are output from the decoder in the order of decoding, and then the I 2 picture is output. Once the B 1 picture is output, the P 5 picture is then predicted and decoded using the I 2 picture. Then, the B 3 picture and the B 4 picture are predicted and decoded using the I 2 picture and the P 5 picture. The decoded B 3 picture and B 4 picture are output from the decoder in the order of decoding, and then the P 5 picture is output.

以下、同様にして、Bピクチャの予測に用いるPまたはIピクチャをBピクチャより先にデコードし、このデコードされたPまたはIピクチャを用いてBピクチャを予測してデコードし、デコードされたBピクチャを出力してから、当該Bピクチャをデコードするために用いたPまたはIピクチャを出力する処理が繰り返される。記録媒体上やストリームにおける図16Bのようなピクチャ配列は、一般的に用いられるもので、デコードに4フレーム分のフレームメモリが必要となる。非特許文献1には、このようにしてMPEG2のエレメンタリストリームをデコードする方法が記載されている。
藤原 洋、「ポイント図解式・最新MPEG教科書」、初版、株式会社アスキー、1994年8月1日、p.106
Hereinafter, similarly, the P or I picture used for prediction of the B picture is decoded before the B picture, the B picture is predicted and decoded using the decoded P or I picture, and the decoded B picture is decoded. Is output, the process of outputting the P or I picture used to decode the B picture is repeated. The picture arrangement as shown in FIG. 16B on the recording medium or in the stream is generally used, and requires a frame memory for four frames for decoding. Non-Patent Document 1 describes a method for decoding an MPEG2 elementary stream in this way.
Hiroshi Fujiwara, “Point Illustration / Latest MPEG Textbook”, first edition, ASCII, Inc., August 1, 1994, p. 106

このような、ビデオ信号にロングGOPを用いた場合の順方向への1倍速再生は、1フレーム分の時間で1フレームのピクチャのデコード結果が得られるデコーダ(1倍速デコーダと呼ぶ)を用いて可能である。   Such a 1 × speed reproduction in the forward direction when a long GOP is used for a video signal uses a decoder (called a 1 × speed decoder) that can obtain a decoding result of a picture of one frame in a time of one frame. Is possible.

ところで、特に編集作業などの場合、必要なフレームを探すために、再生速度については1倍速以下で可変に、また、再生方向については順方向および逆方向に自在に切り換えられることが求められる。ビデオ信号にロングGOPを用い、順方向および逆方向に1倍速以下の再生速度で可変速再生する場合について考える。   By the way, especially in the case of editing work or the like, in order to search for a necessary frame, it is required that the playback speed can be variably set to 1 × speed or less, and the playback direction can be freely switched between the forward direction and the reverse direction. Consider a case in which a long GOP is used for a video signal and variable speed playback is performed at a playback speed of 1 × speed or less in the forward and backward directions.

なお、ビデオ信号にシングルGOPを用いた場合は、上述したように、表示するためのフレームを単独でデコードすることができるため、順方向および逆方向の1倍速以下の可変速再生や、順方向および逆方向への再生方向の切り換えを行っても、特に問題は発生しない。   Note that when a single GOP is used for a video signal, as described above, since a frame for display can be decoded independently, variable-speed playback at a forward speed and a forward speed of 1 × or lower, Even if the playback direction is switched in the reverse direction, no particular problem occurs.

ビデオ信号にロングGOPを用いた場合、上述したように、表示するためのフレームをデコードする際に、時間的に前および/または後のピクチャを1乃至複数枚、必要とする。順方向で1倍速以下の再生速度での再生は、再生速度に応じて入力ストリームを止めてフレームメモリを更新しないようにすると共に、出力されるビデオ信号をフレームメモリから繰り返し読み出すことで、上述の1倍速デコーダを用いて実現できる。   When a long GOP is used for a video signal, as described above, when decoding a frame for display, one or a plurality of pictures before and / or after the time are required. Playback at a playback speed of 1 × speed or less in the forward direction stops the input stream according to the playback speed so as not to update the frame memory, and repeatedly reads out the output video signal from the frame memory. This can be realized by using a 1 × speed decoder.

一方、ビデオ信号にロングGOPを用いて逆方向再生を行う場合、1フレームの画像を表示するのに、順方向の再生時に比べ、より多くのピクチャが必要となる場合が多い。   On the other hand, when reverse playback is performed using a long GOP for a video signal, more pictures are often required to display one frame of images than in forward playback.

一例として、表示順が図16Aに例示されるビデオストリームを逆方向再生する場合、P14ピクチャを最初に出力しなければならない。上述したように、P14ピクチャをデコードするためには、I2ピクチャ、P5ピクチャ、P8ピクチャおよびP11ピクチャのデコードが必要である。したがって、図16Bのような配列でストリームが入力される場合、少なくとも4フレーム分のデコード処理を行うだけの遅延が生じることになる。また、I2ピクチャ、P5ピクチャ、P8ピクチャおよびP11ピクチャは、Bピクチャをデコードするために用いられるため、メモリに保持することが必要になる。 As an example, if the display order is backward play back the video stream illustrated in FIG. 16A, it must be output P 14 picture first. As described above, in order to decode the P 14 picture, it is necessary to decode the I 2 picture, the P 5 picture, the P 8 picture, and the P 11 picture. Therefore, when a stream is input in the arrangement as shown in FIG. 16B, a delay sufficient to perform decoding processing for at least four frames occurs. In addition, the I 2 picture, the P 5 picture, the P 8 picture, and the P 11 picture are used to decode the B picture, and thus need to be held in the memory.

さらに、当該GOPの最後に出力されるべきB1ピクチャおよびB0ピクチャは、当該GOPのI2ピクチャと、本来の再生方向において1つ前のGOP、すなわち逆方向再生では1つ後のGOPのP14ピクチャとを用いて予測されデコードされるため、当該GOPのデコード処理中に、さらに逆方向再生における表示順で1つ後のGOPのデコード処理も必要になる。 Furthermore, the B 1 picture and the B 0 picture to be output at the end of the GOP are the I 2 picture of the GOP and the GOP that is one previous in the original reproduction direction, that is, the GOP that is one after in the reverse reproduction. to be decoded is predicted by using the P 14 picture, in the decoding processing of the GOP, it becomes necessary decoding of the GOP after one in display order in the further reverse playback.

ここで、再生方向を順方向から逆方向、または、逆方向から順方向に切り換える場合について考える。例えば、ジョグダイヤルなどで再生速度および再生方向を制御できるような編集装置などを想定し、再生速度が0の点を中心に再生速度および再生方向を切り換えながら所望のフレームを探すような場合に相当する。   Here, consider a case where the playback direction is switched from the forward direction to the reverse direction, or from the reverse direction to the forward direction. For example, assuming an editing apparatus that can control the playback speed and playback direction with a jog dial or the like, this corresponds to a case where a desired frame is searched while switching the playback speed and playback direction around the point where the playback speed is zero. .

例えば順方向に再生中の任意のフレームが表示されているときに、再生方向を逆方向に切り換えた場合、再生方向を順方向から逆方向に切り換える直前のフレームの、1フレーム前のフレーム画像がフレームメモリに残っていれば、逆方向に再生方向を切り換えたときの1フレーム目は、フレームメモリに残っている当該フレーム画像を用いて表示することができる。   For example, when an arbitrary frame being played in the forward direction is displayed and the playback direction is switched to the reverse direction, the frame image one frame before the frame immediately before switching the playback direction from the forward direction to the reverse direction is displayed. If it remains in the frame memory, the first frame when the playback direction is switched in the reverse direction can be displayed using the frame image remaining in the frame memory.

しかしながら、例えば、再生方向を逆方向に切り換える直前のフレームがGOPの最後に表示されるP14ピクチャであった場合、再生方向を逆方向に切り換えた直後に表示されるべきフレームは、当該GOPのB13ピクチャである。このB13ピクチャをデコードするためには、P14ピクチャとP11ピクチャが必要であり、さらに、P11ピクチャをデコードするためには、当該GOPのI2ピクチャ、P5ピクチャおよびP8ピクチャが必要とされる。 However, for example, when the frame immediately before switching the playback direction to the reverse direction was P 14 picture to be displayed at the end of the GOP, the frame to be displayed immediately after switching the playback direction to the reverse direction, of the GOP B 13 picture. In order to decode the B 13 picture, the P 14 picture and the P 11 picture are necessary. Further, in order to decode the P 11 picture, the I 2 picture, the P 5 picture, and the P 8 picture of the GOP Needed.

したがって、この場合、再生方向を順方向から逆方向に切り換えた瞬間に、少なくとも4ピクチャ分(I2ピクチャ、P5ピクチャ、P8ピクチャおよびP11ピクチャ)のデコード時間分の遅延が生じてしまうという問題点があった。特に、順方向と逆方向の切り換えを頻繁に行うような場合では、この遅延が操作感の悪さとなって現れてしまい、問題となる。 Therefore, in this case, at the moment when the reproduction direction is switched from the forward direction to the reverse direction, a delay corresponding to the decoding time of at least four pictures (I 2 picture, P 5 picture, P 8 picture and P 11 picture) occurs. There was a problem. In particular, when the switching between the forward direction and the reverse direction is frequently performed, this delay appears as a poor feeling of operation, which is a problem.

すなわち、記録再生装置を編集動作などに適用させるためには、編集装置といった上位のシステムから要求されたコマンド速度に対して、常に一定の遅延で再生出力結果を出す必要がある。順方向から逆方向に再生方向を切り換えた際に遅延が生ずるのでは、編集動作としては適当でないといえる。   That is, in order to apply the recording / reproducing apparatus to an editing operation or the like, it is necessary to always output a reproduction output result with a certain delay with respect to a command speed requested by a higher system such as the editing apparatus. If a delay occurs when the playback direction is switched from the forward direction to the reverse direction, it can be said that the editing operation is not appropriate.

この問題を解決するために、幾つかの方法が考えられている。第1の方法としては、デコーダに1倍速よりも十分高速なデコード速度を持つものを用いる方法が考えられる。例えば、上述の例では、1フレーム時間内に4フレーム分以上のピクチャをデコード可能なデコーダを用いることが考えられる。しかしながら、1倍速デコーダに対して、高速なデコード速度を持つデコーダは高価であり、コストが嵩んでしまうという問題点があった。   Several methods have been considered to solve this problem. As a first method, a method using a decoder having a decoding speed sufficiently higher than 1 × speed can be considered. For example, in the above example, it is conceivable to use a decoder capable of decoding pictures of four frames or more within one frame time. However, a decoder having a high decoding speed is more expensive than a 1 × speed decoder, and there is a problem that the cost increases.

第2の方法として、所定の表示タイミングに対してデコードの間に合わないピクチャをコマ落ち、すなわちデコードおよび表示しないようにし、見かけ上、再生が継続されるようにする方法が考えられる。しかしながら、この方法は、表示品質の点で問題があった。   As a second method, there can be considered a method in which a picture that does not meet the decoding timing with respect to a predetermined display timing is dropped, that is, the picture is not decoded and displayed, and the reproduction is apparently continued. However, this method has a problem in display quality.

第3の方法として、エンコード時に、入力されたビデオ信号に基づき、本来用いられるビデオ信号に対して解像度を落としたより低解像度のデータなど、固定遅延で再生出力可能なデータを作成し、記録媒体に記録しておく。そして、再生時に、本来用いられるビデオ信号のデコードが間に合わない際にこの低解像度のデータを用いて表示を行う方法が考えられる。この方法でも、本来用いられるビデオ信号のピクチャに対して低解像度のピクチャが混在して表示されることになり、表示品質の点で問題があった。   As a third method, at the time of encoding, data that can be reproduced and output with a fixed delay is created based on the input video signal, such as lower resolution data in which the resolution is reduced with respect to the originally used video signal, and recorded on a recording medium. Record it. A method of performing display using the low-resolution data when the video signal that is originally used cannot be decoded in time for reproduction can be considered. This method also has a problem in terms of display quality because low-resolution pictures are mixedly displayed with pictures of video signals that are originally used.

第4の方法として、上位のシステムから要求されるコマンド速度が決まってから、必要なピクチャをデコードし、再生動作が滞らない程度のピクチャがフレームメモリに蓄積されたら、実際の再生を開始する方法が考えられる。しかしながらこの方法では、上位のシステムからコマンド速度が要求されてから再生が開始されるまで、遅延が生じてしまうことになり、上述の問題点を解決できない。   As a fourth method, after the command speed required from the host system is determined, a necessary picture is decoded, and when a picture is stored in the frame memory so that the playback operation is not delayed, actual playback is started. Can be considered. However, with this method, a delay occurs until the playback is started after the command speed is requested from the host system, and the above-mentioned problems cannot be solved.

したがって、この発明の目的は、予測符号化によるフレーム間圧縮を行ったビデオ信号の再生を1倍速デコーダを用いて行う場合において、順方向の1倍速再生から逆方向の1倍速再生までの可変速再生を、固定的な遅延で行うことができる再生装置、再生方法および再生プログラムを提供することにある。   Accordingly, an object of the present invention is to provide variable speeds from forward 1 × speed playback to reverse 1 × speed playback when playback of a video signal subjected to interframe compression by predictive coding is performed using a 1 × speed decoder. It is an object of the present invention to provide a playback device, a playback method, and a playback program that can perform playback with a fixed delay.

この発明は、上述した課題を解決するために、予測符号化によるフレーム間圧縮を用いて圧縮符号化されランダムアクセス可能な記録媒体に記録されたビデオデータを、逆方向の1倍速再生から順方向の1倍速再生まで可変速に再生するようにした再生装置であって、少なくとも、現在の目標再生フレームと、現在の目標フレームに対して表示順で前後に隣接するそれぞれのフレームとを格納するフレームバッファと、それぞれのフレームのいずれかが新たな目標再生フレームとされたときに、新たな目標再生フレームに対するフレームバッファの目標パターンを作成する目標パターン作成部と、現在の目標再生フレームが格納されたフレームバッファの状態と目標パターンとを比較する比較部と、比較部による比較結果に基づき、新たにデコードが必要な1フレームを抽出すると共に現在のフレームバッファの状態で不要になる1フレームを抽出するフレームバッファ制御部とを有する再生装置である。 In order to solve the above-mentioned problems, the present invention is directed to forward-reverse video data recorded on a random-accessible recording medium that has been compression-encoded using inter-frame compression by predictive encoding from reverse 1 × speed playback. a playback equipment which is adapted to play variable speed to 1-speed reproduction of, at least, be stored and the current target playback frame, and each frame adjacent back and forth in the display order for the current target frame a frame buffer that, when one of each frame is a new target playback frame, and a target pattern creation section that creates a target pattern of a frame buffer for new targets reproduction frame, the current target playback frame a comparator for comparing the state of the stored frame buffer with the target pattern, based on the comparison result by the comparison unit, the newly de Is a playback apparatus that have a frame buffer control unit for extracting unnecessarily Na Ru 1 frame in the current state of the frame buffer with the over de extracts one frame required.

また、この発明は、予測符号化によるフレーム間圧縮を用いて圧縮符号化されランダムアクセス可能な記録媒体に記録されたビデオデータを、逆方向の1倍速再生から順方向の1倍速再生まで可変速に再生するようにした再生方法であって、少なくとも、現在の目標再生フレームと、現在の目標フレームに対して表示順で前後に隣接するそれぞれのフレームとがフレームバッファに格納され、それぞれのフレームのいずれかが新たな目標再生フレームとされたときに、新たな目標再生フレームに対するフレームバッファの目標パターンを作成する目標パターン作成ステップと、現在の目標再生フレームが格納されたフレームバッファの状態と目標パターンとを比較する比較ステップと、比較ステップにおける比較結果に基づき、新たにデコードが必要な1フレームを抽出すると共に現在のフレームバッファの状態で不要になる1フレームを抽出するフレームバッファ制御ステップとを有する再生方法である。 The present invention also provides variable-speed video data recorded on a random-accessible recording medium that has been compression-encoded using inter-frame compression by predictive encoding, from reverse single-speed playback to forward single-speed playback. At least the current target playback frame and each frame adjacent to the current target frame in the order of display in the display order are stored in the frame buffer. when any is a new target playback frame, a target pattern generating step of generating a target pattern of a frame buffer for new targets reproduction frame, the current state of the framebuffer the target playback frame is stored a comparing step of comparing the target pattern, based on the comparison result of the comparing step, the newly decoded Is Pla how having a frame buffer control step of extracting unnecessary Na Ru 1 frame in the current state of the frame buffer are extracted one frame required.

また、この発明は、予測符号化によるフレーム間圧縮を用いて圧縮符号化されランダムアクセス可能な記録媒体に記録されたビデオデータを、逆方向の1倍速再生から順方向の1倍速再生まで可変速に再生するようにした再生方法をコンピュータ装置に実行させるための再生プログラムであって、少なくとも、現在の目標再生フレームと、現在の目標フレームに対して表示順で前後に隣接するそれぞれのフレームとがフレームバッファに格納され、それぞれのフレームのいずれかが新たな目標再生フレームとされたときに、新たな目標再生フレームに対するフレームバッファの目標パターンを作成する目標パターン作成ステップと、現在の目標再生フレームが格納されたフレームバッファの状態と目標パターンとを比較する比較ステップと、比較ステップにおける比較結果に基づき、新たにデコードが必要な1フレームを抽出すると共に現在のフレームバッファの状態で不要になる1フレームを抽出するフレームバッファ制御ステップとを有する再生方法をコンピュータ装置に実行させるための再生プログラムである。 The present invention also provides variable-speed video data recorded on a random-accessible recording medium that has been compression-encoded using inter-frame compression by predictive encoding, from reverse single-speed playback to forward single-speed playback. A playback program for causing a computer device to execute a playback method adapted to play back at least, wherein at least a current target playback frame and frames adjacent to each other adjacent to the current target frame in the display order stored in the frame buffer, when any of each frame is a new target playback frame, a target pattern generating step of generating a target pattern of a frame buffer for new targets playback frame, the current target playback frame a comparing step but comparing the status and the target pattern of the frame buffer stored, Based on the comparison result of the compare step, new computer playback method and a frame buffer control step of extracting unnecessary Na Ru 1 frame in the current state of the frame buffer with decoding to extract one frame required a reproduction program to be executed by device.

上述したように、この発明は、次に再生されるべき目標再生フレームに対する、複数フレーム分のビデオデータを一時的に格納可能なフレームバッファの目標パターンを作成し、現在のフレームバッファの状態と目標パターンとを比較した比較結果に基づき、新たにデコードが必要なフレームを抽出すると共に現在のフレームバッファの状態で不要になるフレームを抽出するようにしているため、順方向への1倍速再生から逆方向への1倍速再生までの再生時に、フレームバッファにおける更新フレーム数が常に1フレームとすることができる。またこれにより、フレームの入力からデコードまでの遅延量が固定的とされ、順方向への1倍速再生から逆方向への1倍速再生までの可変速再生を、固定的な遅延量でコマ落ち無しに、1倍速デコーダを用いて行うことができる。   As described above, the present invention creates a frame buffer target pattern capable of temporarily storing video data for a plurality of frames for a target playback frame to be played next, and the current frame buffer state and target Based on the result of comparison with the pattern, a new frame that needs to be decoded is extracted and a frame that is unnecessary in the current frame buffer state is extracted. At the time of playback up to 1 × speed playback in the direction, the number of updated frames in the frame buffer can always be one frame. As a result, the amount of delay from frame input to decoding is fixed, and variable-speed playback from 1x playback in the forward direction to 1x playback in the reverse direction does not drop frames with a fixed delay. In addition, it can be performed using a 1 × speed decoder.

この発明は、上述のように、次に再生されるべき目標再生フレームに対するフレームバッファの目標パターンを作成し、作成された目標パターンと現在のフレームバッファの状態とを比較する。そして、比較結果に基づき、新たにデコードが必要なフレームと現在のフレームバッファの状態で不要になるフレームとを抽出するようにしている。そのため、順方向への1倍速再生から逆方向への1倍速再生までの再生時に、フレームバッファにおける更新フレーム数を常に1フレームとすることができると共に、フレームの入力からデコードまでの遅延量が固定的にできる効果がある。   As described above, the present invention creates a frame buffer target pattern for a target playback frame to be reproduced next, and compares the created target pattern with the current frame buffer state. Based on the comparison result, a frame that needs to be newly decoded and a frame that becomes unnecessary in the current frame buffer state are extracted. Therefore, the number of frames updated in the frame buffer can always be one frame during playback from 1x playback in the forward direction to 1x playback in the reverse direction, and the delay amount from frame input to decoding is fixed. There is an effect that can be achieved.

またこれにより、順方向への1倍速再生から逆方向への1倍速再生までの可変速再生を、固定的な遅延量でコマ落ち無しに、1倍速デコーダを用いて行うことができる効果がある。   This also has the effect that variable speed playback from 1x playback in the forward direction to 1x playback in the reverse direction can be performed using a 1x speed decoder with a fixed amount of delay and no frame dropping. .

以下、この発明の実施の一形態を、図面を参照しながら説明する。図1は、この発明による再生制御処理を概念的に示す。ステップS1で、次に再生すべき目標再生フレームが指示される。目標再生フレームは、例えば再生速度が順方向または逆方向に1倍速以内であれば、1フレームタイミング前で確定した目標再生フレームに対して表示順で隣接するフレームの範囲となる。目標再生フレームは、例えばより上位のシステムから指定され、フレームタイミング毎に供給される。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 conceptually shows a reproduction control process according to the present invention. In step S1, a target playback frame to be played next is instructed. For example, if the playback speed is within 1 × speed in the forward direction or the reverse direction, the target playback frame is a range of frames adjacent in the display order to the target playback frame determined before one frame timing. The target playback frame is specified from, for example, a higher system and is supplied at each frame timing.

目標再生フレームが指示されると、次に、目標再生フレームに対する目標フレームバッファのパターンが作成される(ステップS2)。目標フレームバッファのパターンは、目標再生フレームを再生すると共に、逆方向および順方向への再生を継続するために、フレームバッファ上にデコードされた状態で溜め込まれている必要があるフレームのパターンである。次のステップS3で、作成された目標フレームバッファパターンと現在のフレームバッファの状態とが比較される。この比較により、現在のフレームバッファの状態に対して新規にデコードが必要なピクチャが抽出される(ステップS4)と共に、現在のフレームバッファの状態において不要なピクチャが抽出される(ステップS5)。ステップS4およびステップS5で抽出されるピクチャは、常に1ピクチャである。   When the target playback frame is designated, a target frame buffer pattern for the target playback frame is created (step S2). The target frame buffer pattern is a frame pattern that needs to be stored in a decoded state on the frame buffer in order to play back the target playback frame and continue playback in the reverse and forward directions. . In the next step S3, the created target frame buffer pattern is compared with the current frame buffer state. By this comparison, a picture that needs to be newly decoded with respect to the current frame buffer state is extracted (step S4), and an unnecessary picture is extracted with the current frame buffer state (step S5). The pictures extracted in step S4 and step S5 are always one picture.

ここまでが、実際にデコードを行うためのターゲットを作成する処理となる。次から、実際にデコーダが制御され、デコード処理が開始される。   Up to here is the process of creating a target for actual decoding. Next, the decoder is actually controlled and the decoding process is started.

ステップS6では、例えば記録媒体がアクセスされ、ステップS4で抽出された結果に基づき所定のピクチャがデコーダに対してストリーム入力される。デコーダでデコードされたピクチャは、フレームバッファ上の、上述のステップS5で抽出された不要ピクチャの領域に上書きされる(ステップS7)。1ピクチャ分のデコードが完了すると、デコード済みの出力フレーム画像として出力される(ステップS8)。   In step S6, for example, a recording medium is accessed, and a predetermined picture is stream-input to the decoder based on the result extracted in step S4. The picture decoded by the decoder is overwritten in the unnecessary picture area extracted in step S5 described above on the frame buffer (step S7). When decoding for one picture is completed, it is output as a decoded output frame image (step S8).

図2は、この発明の実施の一形態に適用可能な再生装置1の一例の構成を概略的に示す。再生装置1は、光ディスク10を記録媒体として用いる。CPU(Central Processing Unit)14は、ROM(Read Only Memory)およびRAM(Random Access Memory)が接続され(図示しない)、ROMに予め記憶されたプログラムに従いこの再生装置1の各部を制御する。RAMは、CPU14のワークメモリとして用いられる。   FIG. 2 schematically shows a configuration of an example of a playback apparatus 1 applicable to the embodiment of the present invention. The playback apparatus 1 uses the optical disc 10 as a recording medium. A CPU (Central Processing Unit) 14 is connected to a ROM (Read Only Memory) and a RAM (Random Access Memory) (not shown), and controls each part of the reproducing apparatus 1 according to a program stored in advance in the ROM. The RAM is used as a work memory for the CPU 14.

ディスクドライブ11は、CPU14の制御に基づき、装填された光ディスク10の所定のアドレスからデータを読み出す。読み出されたデータは、キャッシュメモリ12に一時的に溜め込まれる。そして、CPU14の命令に基づき、キャッシュメモリ12からデコーダ13に対してビデオストリームが供給され、要求に応じて入力されたビデオストリームをフレームメモリ13Aを用いてデコードする。デコード出力は、ベースバンドのビデオ信号として出力される。   The disk drive 11 reads data from a predetermined address of the loaded optical disk 10 based on the control of the CPU 14. The read data is temporarily stored in the cache memory 12. Based on an instruction from the CPU 14, a video stream is supplied from the cache memory 12 to the decoder 13, and the video stream input in response to the request is decoded using the frame memory 13A. The decoded output is output as a baseband video signal.

操作部15は、キーやスイッチなどの様々な操作子が設けられ、操作子に対してなされた操作に応じた制御信号を生成し、CPU14に供給する。CPU14は、供給されたこの制御信号に応じて再生装置1の各部に対して命令を送る。操作部15には、例えばジョグダイヤル16が設けられる。ジョグダイヤル16は、回転角に応じた信号が出力されるようになっており、例えば、ジョグダイヤル16は、ユーザによる操作に応じて、再生方向について順方向および逆方向の指定を行うための制御信号や、再生速度を略リアルタイムで指示する制御信号などを生成し、CPU14に供給する。   The operation unit 15 is provided with various operators such as keys and switches, generates a control signal corresponding to an operation performed on the operator, and supplies the control signal to the CPU 14. The CPU 14 sends a command to each unit of the playback device 1 in accordance with the supplied control signal. For example, a jog dial 16 is provided in the operation unit 15. The jog dial 16 is configured to output a signal corresponding to the rotation angle. For example, the jog dial 16 is configured to output a control signal for designating a forward direction and a reverse direction with respect to the reproduction direction in accordance with a user operation. A control signal for instructing the reproduction speed in substantially real time is generated and supplied to the CPU 14.

なお、再生速度や再生方向などを指示する命令は、操作部15に対する操作に基づくものに限定されない。例えば、所定の通信手段(図示しない)により再生装置1に接続された、編集装置などの他の装置からこの装置に対して、再生速度や再生方向を命令するコマンドを送信するようにできる。この場合、再生装置1に対してコマンドを送信する他の装置は、この再生装置1に対するより上位の装置となる。   Note that the command for instructing the playback speed, the playback direction, and the like is not limited to a command based on an operation on the operation unit 15. For example, a command for instructing a playback speed and a playback direction can be transmitted from another device such as an editing device connected to the playback device 1 by a predetermined communication means (not shown). In this case, another device that transmits a command to the playback device 1 is a higher-order device with respect to the playback device 1.

この再生装置1で扱われるビデオストリームは、MPEG2(Moving Pictures Experts Group 2)の規格に準じて圧縮符号化がなされたストリームであって、GOP(Group Of picture)の構成は、ロングGOPおよびオープンGOPであるものとする。   The video stream handled by the playback apparatus 1 is a stream that has been compression-encoded in accordance with the MPEG2 (Moving Pictures Experts Group 2) standard, and the GOP (Group Of picture) has a long GOP and an open GOP. Suppose that

図3は、デコーダ13の一例の構成を概略的に示す。光ディスク10から読み出され、ディスクドライブ11から出力されるストリームデータは、例えばMPEG−ES(MPEG Elementally Stream)である。このMPEG−ESは、ストリームデコーダ20に供給される。ストリームデコーダ20は、入力されたMPEG−ESのパケットとヘッダ情報とを解析し、デコード処理に必要な各種パラメータと、圧縮符号化されパケット中のペイロードに格納されたピクチャのデータとを抽出する。各種パラメータは、例えばCPU14に供給される。抽出されたピクチャデータは、ストリームバッファ21に所定に溜め込まれる。   FIG. 3 schematically shows an exemplary configuration of the decoder 13. The stream data read from the optical disk 10 and output from the disk drive 11 is, for example, MPEG-ES (MPEG Elementally Stream). This MPEG-ES is supplied to the stream decoder 20. The stream decoder 20 analyzes the input MPEG-ES packet and header information, and extracts various parameters necessary for decoding processing and picture data stored in the payload in the packet after compression encoding. Various parameters are supplied to the CPU 14, for example. The extracted picture data is stored in the stream buffer 21 in a predetermined manner.

MPEGデコーダ22は、ストリームデコーダ20に対してストリームバッファ21に溜め込まれたピクチャデータを要求し、要求に応じてストリームバッファ21から読み出されたピクチャデータをデコードしてフレームメモリ13Aに書き込む。また、MPEGデコーダ22は、フレームメモリ13Aに書き込まれたピクチャデータを用いて他のピクチャデータ(例えばPピクチャやBピクチャ)をデコードする処理も行う。   The MPEG decoder 22 requests the picture data stored in the stream buffer 21 from the stream decoder 20, decodes the picture data read from the stream buffer 21 in response to the request, and writes it into the frame memory 13A. The MPEG decoder 22 also performs a process of decoding other picture data (for example, a P picture or a B picture) using the picture data written in the frame memory 13A.

なお、詳細は後述するが、フレームメモリ13Aは、順方向の再生と逆方向の再生とを固定的な遅延で実行可能とするための必要十分な容量を有する。例えば、フレームメモリ13Aは、デコードされたピクチャの9フレーム分を溜め込めるだけの容量を有する。一例として、フレームメモリ13Aは、それぞれ1フレーム分のデータを格納可能な9個のバンクに記憶領域が分割され、バンク毎にアクセスが制御される。   Although details will be described later, the frame memory 13A has a necessary and sufficient capacity so that forward reproduction and backward reproduction can be executed with a fixed delay. For example, the frame memory 13A has a capacity that can store nine frames of decoded pictures. As an example, in the frame memory 13A, the storage area is divided into nine banks each capable of storing data for one frame, and access is controlled for each bank.

出力データ制御部23は、出力されるビデオデータの管理を行う。例えば、出力データ制御部23は、操作部15に対する操作に応じたCPU14の命令に基づき、フレームメモリ13Aから次に表示するためのフレームデータを読み出す。読み出されたフレームデータは、ベースバンドのビデオ信号として出力される。   The output data control unit 23 manages output video data. For example, the output data control unit 23 reads frame data to be displayed next from the frame memory 13 </ b> A based on an instruction of the CPU 14 according to an operation on the operation unit 15. The read frame data is output as a baseband video signal.

図4は、デコーダ13の一例の構成をより具体的に示す。なお、図4において、上述する図3と共通する部分には同一の符号を付して詳細な説明を省略する。ディスクドライブ11から出力されたMPEG−ESは、デマルチプレクサ(DMUX)30に供給され、パケットが解析される。パケットから取り出されたMPEG ESおよびヘッダ情報は、ストリームバッファ21に溜め込まれる。パケットのヘッダ情報は、また、ユーザデータデコーダ31に供給され、各種パラメータが抽出される。抽出されたパラメータは、ストリームバッファ21に所定に溜め込まれる。   FIG. 4 shows an example of the configuration of the decoder 13 more specifically. In FIG. 4, the same reference numerals are given to the portions common to FIG. 3 described above, and detailed description thereof is omitted. The MPEG-ES output from the disk drive 11 is supplied to a demultiplexer (DMUX) 30, and the packet is analyzed. MPEG ES and header information extracted from the packet are stored in the stream buffer 21. The packet header information is also supplied to the user data decoder 31, and various parameters are extracted. The extracted parameters are stored in the stream buffer 21 in a predetermined manner.

デコーダ32は、ストリームバッファ21に溜め込まれたヘッダ情報やMPEG ESをデコードする。デコーダ32は、ヘッダ情報のデコードを行いピクチャのデコードに必要なパラメータを取り出す。デコーダ32は、ヘッダ情報から取り出されたパラメータに基づき、MPEG ESに対して、可変長符号のデコード、逆量子化および逆DCT(Discrete Cosine Transform)を行い、ピクチャ毎のデコードを行う。デコーダ32でデコードされたピクチャデータは、予測復元部33を介してフレームメモリ13Aに書き込まれる。   The decoder 32 decodes the header information and MPEG ES stored in the stream buffer 21. The decoder 32 decodes the header information and extracts parameters necessary for decoding the picture. Based on the parameters extracted from the header information, the decoder 32 performs variable-length code decoding, inverse quantization, and inverse DCT (Discrete Cosine Transform) on the MPEG ES, and performs decoding for each picture. The picture data decoded by the decoder 32 is written into the frame memory 13A via the prediction restoration unit 33.

予測復元部33は、フレームメモリ13Aに書き込まれたピクチャデータを用いて、予測符号化を用いてフレーム間圧縮をされたピクチャをデコードする。フレーム間圧縮をデコードされたピクチャは、フレームデータとしてフレームメモリ13Aに再び書き込まれる。   The prediction restoration unit 33 uses the picture data written in the frame memory 13A to decode a picture that has been inter-frame compressed using predictive coding. The picture that has been subjected to the inter-frame compression is written again into the frame memory 13A as frame data.

一方、ユーザの、再生方向および再生速度を指定するためのジョグダイヤル16に対する操作などにより、操作部15で、再生速度や再生方向を示す制御信号が所定に生成される。この制御信号は、CPU14に供給される。再生方向や再生速度を示す制御信号は、これに限らず、上述したように、図示されない通信手段を介してより上位の装置からコマンドとしてCPU14に供給されるようにしてもよい。   On the other hand, when the user operates the jog dial 16 for designating the reproduction direction and the reproduction speed, a control signal indicating the reproduction speed and the reproduction direction is generated in the operation unit 15 in a predetermined manner. This control signal is supplied to the CPU 14. The control signal indicating the reproduction direction and the reproduction speed is not limited thereto, and as described above, the control signal may be supplied to the CPU 14 as a command from a higher-level device via a communication unit (not shown).

CPU14は、ROM35に予め記憶されたプログラムに従い、操作部15から供給された制御信号に基づき、ビデオ出力部23に対して命令を出し、出力すべきフレームを指示する。なお、RAM36は、必要に応じてCPU14のワークメモリとして用いられる。ビデオ出力部23は、この命令に応じてフレームメモリ13Aから指示されたフレームを読み出す。   The CPU 14 issues a command to the video output unit 23 based on a control signal supplied from the operation unit 15 according to a program stored in advance in the ROM 35, and instructs a frame to be output. The RAM 36 is used as a work memory for the CPU 14 as necessary. The video output unit 23 reads the frame instructed from the frame memory 13A in response to this command.

読み出されたフレームは、補助データ重畳部34に供給され、ストリームバッファ21に溜め込まれた情報に基づき所定にビデオインデックス情報や補助データなどが重畳され、さらに同期信号を付加されて、出力ビデオ信号として出力される。   The read frame is supplied to the auxiliary data superimposing unit 34, and video index information, auxiliary data, etc. are superposed on the basis of the information stored in the stream buffer 21, and further a synchronization signal is added to the output video signal. Is output as

次に、この発明の実施の一形態に適用できる記録媒体について説明する。先ず、図5を用いて、ディスク状記録媒体における一例のデータ配置について説明する。この図5に一例が示されるデータ配置は、記録可能な光ディスク、ハードディスクといった、ランダムアクセスが可能なディスク状記録媒体における一般的なデータ配置である。論理アドレス空間は、任意のデータを記録再生可能な領域である。   Next, a recording medium applicable to one embodiment of the present invention will be described. First, an example of data arrangement in a disc-shaped recording medium will be described with reference to FIG. The data arrangement shown as an example in FIG. 5 is a general data arrangement in a disc-shaped recording medium capable of random access, such as a recordable optical disc or hard disk. The logical address space is an area where arbitrary data can be recorded / reproduced.

この実施の一形態では、記録媒体を光ディスクとする。なお、この実施の一形態に適用可能な記録媒体は、光ディスクに限られない。すなわち、この実施の一形態は、ハードディスクドライブや半導体メモリといった、他のランダムアクセス可能な記録媒体にも適用できるものである。   In this embodiment, the recording medium is an optical disk. Note that the recording medium applicable to this embodiment is not limited to an optical disk. That is, this embodiment can be applied to other randomly accessible recording media such as a hard disk drive and a semiconductor memory.

論理アドレスの先端および後端には、ファイルシステムFSが配置される。任意のデータは、論理アドレス空間内に一般的にファイルと称される所定の形式で記録される。記録媒体上のデータは、基本的にファイル単位で管理される。ファイルの管理情報は、ファイルシステムFSに記録される。記録再生装置のシステム制御部(後述する)のファイルシステム層は、このファイルシステムFSの情報を参照および操作することで、多種多様なデータを一つの記録媒体上で管理することができる。ファイルシステムFSは、例えばUDF(Universal Disk Format)が用いられ、2kB単位でファイルを管理する。   A file system FS is arranged at the leading and trailing ends of the logical address. Arbitrary data is recorded in a predetermined format generally called a file in the logical address space. Data on the recording medium is basically managed in file units. File management information is recorded in the file system FS. A file system layer of a system control unit (described later) of the recording / reproducing apparatus can manage various kinds of data on one recording medium by referring to and operating information of the file system FS. The file system FS uses, for example, UDF (Universal Disk Format) and manages files in units of 2 kB.

論理アドレス空間の外に、交替領域が配置される。交替領域は、記録媒体の一部が欠陥(ディフェクト)により物理的に読み書きできなくなった場合に代替的に用いることができる領域である。例えば、記録媒体に対するアクセス(特に記録時のアクセス)の際に欠陥領域が認識された場合、通常は交替処理が行われ、当該欠陥領域のアドレスが交替領域内に移動される。   A replacement area is arranged outside the logical address space. The spare area is an area that can be used as an alternative when a part of the recording medium cannot be physically read or written due to a defect. For example, when a defective area is recognized at the time of access to the recording medium (particularly at the time of recording), a replacement process is normally performed, and the address of the defective area is moved into the replacement area.

交替領域の使用状況は、所定領域にディフェクトリストとして記憶され、記録再生装置のドライブ制御部や、システム制御部の下位階層により用いられる。すなわち、後述するドライブ制御部やシステム制御部の下位階層では、記録媒体へのアクセスの際にディフェクトリストを参照することで、交替処理が行われている場合にも、適切な領域へのアクセスを行うことができる。交替領域のこの仕組みにより、上位アプリケーションは、記録媒体上の不良記録領域の有無や位置などを考慮することなく、記録媒体に対するデータの記録再生を行うことができる。   The usage status of the spare area is stored as a defect list in a predetermined area, and is used by a drive control unit of the recording / reproducing apparatus and a lower hierarchy of the system control unit. In other words, in the lower layers of the drive control unit and system control unit described later, by referring to the defect list when accessing the recording medium, even when replacement processing is performed, access to an appropriate area is performed. It can be carried out. By this mechanism of the spare area, the host application can perform data recording / reproduction with respect to the recording medium without considering the presence / absence or position of the defective recording area on the recording medium.

ディスク状記録媒体の場合、交替領域は、ディスクの最内周側または最外周側に配置されることが多い。ディスクの回転制御を、ディスクの半径方向に段階的に回転速度を変更するゾーン制御で行っている場合には、ゾーン毎に交替領域を設ける場合もある。記録媒体が半導体メモリなどディスク状記録媒体ではない場合には、物理アドレスが最も小さい側または最も大きい側に配置されることが多い。   In the case of a disc-shaped recording medium, the replacement area is often arranged on the innermost or outermost side of the disc. When the disk rotation control is performed by zone control in which the rotation speed is changed stepwise in the radial direction of the disk, a replacement area may be provided for each zone. When the recording medium is not a disk-shaped recording medium such as a semiconductor memory, it is often arranged on the side having the smallest physical address or the largest physical address.

オーディオデータおよびビデオデータ(以下、まとめてAVデータと呼ぶ)を扱うアプリケーションにおいては、連続同期再生、すなわち実時間再生が保障された再生が必要な単位となるデータのまとまりを、クリップと呼ぶ。例えば、ビデオカメラにより撮影が開始されてから終了されるまでのひとまとまりのデータがクリップとされる。クリップの実体は、単一のファイルまたは複数のファイルからなる。この発明においては、クリップは、複数のファイルからなる。クリップの詳細については、後述する。   In an application that handles audio data and video data (hereinafter collectively referred to as AV data), a group of data that is a unit that requires continuous synchronous reproduction, that is, reproduction that guarantees real-time reproduction is called a clip. For example, a group of data from the start to the end of shooting by the video camera is used as a clip. The entity of a clip consists of a single file or multiple files. In the present invention, a clip consists of a plurality of files. Details of the clip will be described later.

論理アドレス空間に対して、例えば先頭側にクリップ以外の任意のファイルが記録できるNRT(Non Real Time)領域が配置され、NRT領域の次から、クリップが順に詰め込まれていく。クリップは、光ディスク10上のディフェクト位置を避けて配置され、上述した交替処理が行われないようにされる。各クリップには、ヘッダ(H)およびフッタ(F)が付加される。この例では、ヘッダおよびフッタは、クリップの後端側にまとめて配置されている。   For example, an NRT (Non Real Time) area in which an arbitrary file other than a clip can be recorded is arranged at the head side in the logical address space, and clips are sequentially packed from the next of the NRT area. The clip is arranged avoiding the defect position on the optical disk 10 so that the above-described replacement process is not performed. A header (H) and a footer (F) are added to each clip. In this example, the header and footer are arranged together on the rear end side of the clip.

なお、以下の説明において、光ディスク10に最初に記録されるクリップを、クリップ#1とし、以降、クリップ#2、クリップ#3、・・・とクリップ番号が増加していくものとする。   In the following description, it is assumed that the clip first recorded on the optical disc 10 is the clip # 1, and the clip numbers are subsequently increased as clip # 2, clip # 3,.

論理アドレス空間内において、データが記録されていない領域や、過去にデータが記録されていたが現在では不要になった領域は、未使用領域としてファイルシステムFSに管理される。記録媒体上に新たに記録されるファイルに対して、未使用領域に基づき記録領域が割り当てられる。当該ファイルの管理情報は、ファイルシステムFSに追加される。   In the logical address space, an area where no data is recorded or an area where data has been recorded in the past but is no longer needed is managed as an unused area in the file system FS. A recording area is allocated to a file newly recorded on the recording medium based on an unused area. The management information of the file is added to the file system FS.

記録媒体として記録可能な光ディスクを用いた場合、この発明では、クリップを年輪構造によって記録媒体に記録する。図6および図7を用いて、年輪構造について説明する。図6Aは、一つのクリップ100をタイムライン上に示す例である。この例では、クリップ100は、ビデオデータ101、オーディオデータ102A〜102D、補助AVデータ103およびリアルタイムメタデータ104の7ファイルからなる。   When a recordable optical disc is used as the recording medium, the present invention records the clip on the recording medium with an annual ring structure. The annual ring structure will be described with reference to FIGS. 6 and 7. FIG. 6A is an example showing one clip 100 on the timeline. In this example, the clip 100 includes seven files of video data 101, audio data 102A to 102D, auxiliary AV data 103, and real-time metadata 104.

ビデオデータ101は、ベースバンドのビデオデータを、例えばビットレートが50Mbps(メガビットパーセカンド)の高ビットレートで圧縮符号化したビデオデータである。圧縮符号化方式としては、例えばMPEG2(Moving Pictures Experts Group 2)方式が用いられる。オーディオデータ102A、102B、102Cおよび102Dは、ベースバンドのオーディオデータが用いられ、それぞれ2チャンネルのオーディオデータである。これに限らず、オーディオデータ102A、102B、102Cおよび102Dは、ベースバンドのオーディオデータを高ビットレートで圧縮符号化したオーディオデータを用いてもよい。ビデオデータ101およびオーディオデータ102A〜102Dは、実際の放送や編集の対象とされるデータであって、本線系のデータと称される。   The video data 101 is video data obtained by compressing and coding baseband video data at a high bit rate of, for example, a bit rate of 50 Mbps (megabit second). As the compression encoding method, for example, MPEG2 (Moving Pictures Experts Group 2) method is used. As the audio data 102A, 102B, 102C, and 102D, baseband audio data is used, each of which is 2-channel audio data. However, the audio data 102A, 102B, 102C, and 102D may be audio data obtained by compression-coding baseband audio data at a high bit rate. The video data 101 and the audio data 102A to 102D are data to be actually broadcast and edited, and are referred to as main line data.

補助AVデータ103は、ベースバンドのビデオデータおよびオーディオデータを、本線系のビデオデータおよびオーディオデータに対してより低ビットレートで圧縮符号化して多重化したデータである。圧縮符号化方式としては、例えばMPEG4方式が用いられ、本線系のAVデータを、ビットレートを例えば数Mbpsまで落とすように圧縮符号化して生成する。補助AVデータ103は、高速サーチ再生を行うために本線系のデータの代理として用いられるデータであって、プロキシ(Proxy)データとも称される。   The auxiliary AV data 103 is data obtained by compressing and multiplexing baseband video data and audio data at a lower bit rate than main line video data and audio data. As the compression encoding method, for example, the MPEG4 method is used, and main line AV data is generated by compression encoding so as to reduce the bit rate to, for example, several Mbps. The auxiliary AV data 103 is data used as a proxy for main line data in order to perform high-speed search reproduction, and is also referred to as proxy data.

メタデータは、あるデータに関する上位データであり、各種データの内容を表すためのインデックスとして機能する。メタデータには、上述の本線系のAVデータの時系列に沿って発生されるリアルタイムメタデータ104と、本線系のAVデータにおけるシーン毎など、所定の区間に対して発生される非時系列メタデータの2種類がある。非時系列メタデータは、例えば図5で説明したNRT領域に記録される。   Metadata is high-order data related to certain data, and functions as an index for representing the contents of various data. The metadata includes real-time metadata 104 generated along the time series of the main AV data and non-time series meta data generated for a predetermined section such as for each scene in the main AV data. There are two types of data. The non-time series metadata is recorded in the NRT area described with reference to FIG.

クリップ100は、図6Bに一例が示されるように、所定の再生時間(例えば2秒)を基準として分割され、年輪構造として光ディスクに記録される。一つの年輪は、図6Cに一例が示されるように、ビデオデータ101、オーディオデータ102A〜102D、補助AVデータ103およびリアルタイムメタデータ(RM)104を、それぞれ再生時間帯が対応するように、トラック1周分以上のデータサイズを有する所定の再生時間単位に分割し、分割された再生時間単位毎に順に配置して記録する。すなわち、クリップ100を構成する各データは、年輪構造により所定時間単位でインターリーブされ、光ディスクに記録される。   As shown in FIG. 6B, the clip 100 is divided on the basis of a predetermined reproduction time (for example, 2 seconds) and recorded on the optical disc as an annual ring structure. As an example is shown in FIG. 6C, one annual ring is a video data 101, audio data 102A to 102D, auxiliary AV data 103, and real-time metadata (RM) 104 so that the playback time zones correspond to each other. The data is divided into predetermined reproduction time units having a data size of one or more rounds, and the divided reproduction time units are sequentially arranged and recorded. That is, each data composing the clip 100 is interleaved in a predetermined time unit by the annual ring structure and recorded on the optical disc.

年輪を形成するデータを年輪データと称する。年輪データは、ディスクにおける最小の記録単位の整数倍のデータ量とされる。また、年輪は、その境界がディスクの記録単位のブロック境界と一致するように記録される。   Data forming the annual ring is referred to as annual ring data. The annual ring data has an amount of data that is an integral multiple of the smallest recording unit on the disc. The annual rings are recorded so that the boundaries coincide with the block boundaries of the recording units of the disc.

図7は、光ディスク10に対して年輪データが形成された一例の様子を示す。例えば、図6Bを用いて説明したように、光ディスク10の内周側から外周側に向けて、1つのクリップが所定の再生時間単位に分割された年輪データ#1、#2、#3、・・・が連続的に記録される。すなわち、光ディスク10の内周側から外周側に向けて、再生の時系列が連続するようにデータが配置される。なお、図示しないが、NRT領域は、図7の例では、先頭の年輪データ#1のさらに内周側に配置される。   FIG. 7 shows an example in which annual ring data is formed on the optical disc 10. For example, as described with reference to FIG. 6B, annual ring data # 1, # 2, # 3,... In which one clip is divided into predetermined playback time units from the inner circumference side to the outer circumference side of the optical disc 10. .. is recorded continuously. That is, the data is arranged so that the reproduction time series is continuous from the inner periphery side to the outer periphery side of the optical disc 10. Although not shown, the NRT region is arranged further on the inner peripheral side of the first annual ring data # 1 in the example of FIG.

HDフォーマットでは、可変長ビットレートでの圧縮符号化が可能とされている。また、ロングGOPを用いた場合、予測符号化を用いたフレーム間圧縮符号化により、Iピクチャ、PピクチャおよびBピクチャにより、データサイズが異なる。そこで、ピクチャポインタファイルを用いて所望の位置へのアクセスを実現する。   In the HD format, compression encoding at a variable length bit rate is possible. In addition, when a long GOP is used, the data size differs depending on the I picture, P picture, and B picture due to inter-frame compression coding using predictive coding. Therefore, access to a desired position is realized using a picture pointer file.

ピクチャポインタは、クリップ内の各フレーム位置のオフセット情報である。すなわち、例えばMPEG2においては、フレーム毎にデータの圧縮率を変える可変ビットレートが可能とされている。例えば、平坦な画面のフレームは、より高圧縮率で圧縮符号化し、粗い画面のフレームは、より低圧縮率で圧縮符号化する。このように、フレームの性質に応じて圧縮率を変えることで、より高解像度のビデオデータをより低いビットレートで伝送および記録することができる。また、MPEG2においては、可変長符号による圧縮符号化もなされる。   The picture pointer is offset information of each frame position in the clip. That is, for example, in MPEG2, a variable bit rate that changes the data compression rate for each frame is possible. For example, a flat screen frame is compression-encoded at a higher compression rate, and a coarse screen frame is compression-encoded at a lower compression rate. Thus, by changing the compression rate according to the nature of the frame, higher resolution video data can be transmitted and recorded at a lower bit rate. In MPEG2, compression encoding is also performed using a variable length code.

このような、ビットレートを可変として圧縮符号化されたビデオデータは、フレーム位置や複数フレームで再生が完結されるGOPの位置がフレーム毎やGOP毎に異なり、所望の位置へのジャンプなどが難しい。そこで、可変長ビットレートのアクセスを容易とするために、クリップ内の各フレーム位置のオフセット情報をピクチャポイントとしてテーブル化して非時系列メタデータファイルとし、クリップにそれぞれ対応して配置する。例えばドライブにディスクを挿入した際にこのピクチャポイントを所定に読み込んでおくことで、クリップ内の所望位置へのアクセスを高速に行うことができるようになる。   In such video data that is compression-encoded with a variable bit rate, the frame position and the GOP position at which reproduction is completed in a plurality of frames differ from frame to frame or from GOP to jump to a desired position. . Therefore, in order to facilitate access to the variable length bit rate, the offset information of each frame position in the clip is tabulated as a picture point to form a non-time series metadata file, which is arranged corresponding to each clip. For example, when the disc is inserted into the drive, this picture point is read in a predetermined manner, so that a desired position in the clip can be accessed at high speed.

図8および図9を用いて、より詳細に説明する。図8は、MPEG2のロングGOPにおける一例のデータ構造を示す。例えば、図8Aに示されるように、1つのクリップから1ロングGOPファイルが構成される。ロングGOPファイルは、図8Bに示されるように、ビデオMXF(Material Exchange Format)ファイルOP−Atomと呼ばれる構造を有し、先頭からヘッダパーティションパック(HPP)およびヘッダメタデータが配置されてヘッダ情報が構成され、その後ろに、ビデオデータの本体が格納されるエッセンスコンテナが配置される。ファイルの末尾には、フッタパーティションパック(FPP)が配置される。   This will be described in more detail with reference to FIGS. FIG. 8 shows an example of a data structure in the MPEG2 long GOP. For example, as shown in FIG. 8A, one long GOP file is composed of one clip. As shown in FIG. 8B, the long GOP file has a structure called a video MXF (Material Exchange Format) file OP-Atom. From the top, a header partition pack (HPP) and header metadata are arranged, and header information is stored. After that, an essence container in which the main body of video data is stored is arranged. A footer partition pack (FPP) is arranged at the end of the file.

エッセンスコンテナは、図8Cに示されるように、GOPが並んでいる構成となっている。各GOPの内容は、図8Dに示されるように、ピクチャの集合であり、1つのピクチャの内容は、図8Eに示されるように、先頭にKL(Key,length)情報が配され、次にI、PまたはBピクチャの本体が配され、さらにKL情報が配される。ピクチャの末尾には、必要に応じてフィラーが配され、バイト単位で末尾が揃えられる。   The essence container has a configuration in which GOPs are arranged as shown in FIG. 8C. The contents of each GOP are a set of pictures as shown in FIG. 8D, and the contents of one picture are arranged with KL (Key, Length) information at the head, as shown in FIG. The main body of the I, P or B picture is arranged, and further KL information is arranged. A filler is arranged at the end of the picture as necessary, and the end is aligned in byte units.

このような構成において、MPEG2のロングGOPでは、各ピクチャの情報量、すなわち図8Eに示されるI、PおよびBピクチャのサイズの値が不確定となる。したがって、例えばロングGOPビデオファイル中のあるフレームから再生を開始しようとした場合に、ロングGOPビデオファイル中のそのフレームに対応するピクチャの先頭位置を、バイト位置などで指定することができない。   In such a configuration, in the MPEG2 long GOP, the information amount of each picture, that is, the values of the sizes of the I, P, and B pictures shown in FIG. 8E are uncertain. Therefore, for example, when playback is to be started from a certain frame in the long GOP video file, the start position of the picture corresponding to that frame in the long GOP video file cannot be specified by the byte position or the like.

そのため、ロングGOPビデオファイルの先頭位置からバイト単位で示されるファイルアドレス(図8F参照)を基準として、ロングGOPビデオファイルに含まれる各ピクチャそれぞれについて、ファイルアドレス、サイズおよびピクチャタイプ(I、PまたはBピクチャ)と、そのピクチャがGOPの先頭のピクチャであるか否かを示す情報を、ピクチャポインタ情報として用意する。このピクチャポインタ情報は、ロングGOPビデオファイル毎に用意される。   Therefore, with respect to each picture included in the long GOP video file with reference to the file address (see FIG. 8F) indicated in bytes from the head position of the long GOP video file, the file address, size and picture type (I, P or (B picture) and information indicating whether or not the picture is the head picture of the GOP are prepared as picture pointer information. This picture pointer information is prepared for each long GOP video file.

なお、図8Eに示されるピクチャ末尾に配されるフィラーは、各ピクチャの境界がファイルアドレスで見て例えば2048バイトといった所定バイトの倍数になるように調整する。一例として、各ピクチャの境界が光ディスク10のセクタといった最小アクセス単位の境界に一致するように、フィラーを用いて調整すると、各ピクチャ毎のアクセスが容易となり好ましい。   Note that the filler arranged at the end of the picture shown in FIG. 8E is adjusted so that the boundary of each picture is a multiple of a predetermined byte such as 2048 bytes when viewed from the file address. As an example, it is preferable to adjust using a filler so that the boundary of each picture coincides with the boundary of the minimum access unit such as a sector of the optical disk 10 because access to each picture becomes easy.

図9は、ピクチャポインタ情報が記述されるピクチャポインタテーブルのより具体的な例を示す。この例では、ピクチャポインタテーブルは、8バイト単位でデータが記述される。先頭の8バイトは、予約領域およびこのピクチャポインタテーブルのバージョン情報が格納される。以下、1フレームすなわち1ピクチャに対して8バイトが割り当てられ、この8バイトの情報がロングGOPビデオファイルに含まれるピクチャの数だけ並べられる。各ピクチャは、表示フレーム順に並べられている。   FIG. 9 shows a more specific example of a picture pointer table in which picture pointer information is described. In this example, the picture pointer table describes data in units of 8 bytes. The first 8 bytes store the reserved area and version information of this picture pointer table. Hereinafter, 8 bytes are allocated to one frame, that is, one picture, and this 8-byte information is arranged by the number of pictures included in the long GOP video file. Each picture is arranged in the order of display frames.

各ピクチャ毎のデータについて説明する。先頭の1ビットは、そのピクチャがGOPの先頭のピクチャであるか否かを示すフラグである。例えば、1GOP内にIピクチャが複数枚、存在する場合を想定すると、Iピクチャの位置だけではGOPの境界を特定できない。GOPの境界を特定できないと、MPEG2に規定されるシーケンスヘッダ(Sequence Header)の位置が分からず、デコーダに入力されるストリームの先頭にシーケンスヘッダが無いという状態になるおそれがある。このGOP先頭のピクチャであるか否かを示すフラグをピクチャ毎に持たせることで、このような状態を回避できる。再生時には、このフラグにもとづきでコーダにストリームを入力させる。   Data for each picture will be described. The first 1 bit is a flag indicating whether or not the picture is the first picture of the GOP. For example, assuming that there are a plurality of I pictures in one GOP, the boundary of the GOP cannot be specified only by the position of the I picture. If the GOP boundary cannot be specified, the position of the sequence header (Sequence Header) defined in MPEG2 cannot be known, and there is a possibility that there is no sequence header at the head of the stream input to the decoder. Such a state can be avoided by providing each picture with a flag indicating whether or not this is a GOP head picture. During playback, the stream is input to the coder based on this flag.

次の23ビットは、図8Eに示される、ピクチャのサイズ情報が格納される。サイズ情報として23ビットを確保することで、8MB(メガバイト)までのデータサイズに対応でき、MPEGプロファイルの422@HLにも対応可能となる。   The next 23 bits store picture size information as shown in FIG. 8E. By securing 23 bits as size information, it is possible to cope with a data size up to 8 MB (megabytes), and it is also possible to cope with MPEG profile 422 @ HL.

次の2ビットでピクチャのタイプが示される。Bピクチャについては、参照方向の情報も示される。ピクチャのタイプは、より具体的には、例えば次のように記述される。
00:Iピクチャ
10:Pピクチャ
01:前方(未来)のフレームが参照されて復元されるBピクチャ。これは、例えばオープンGOPの場合の、ロングGOPビデオファイル先頭のBピクチャ、または、クローズドGOPの場合の各GOPの先頭のBピクチャである。
11:前方および後方のフレームが参照されて復元されるBピクチャ。
The next two bits indicate the picture type. For B pictures, reference direction information is also shown. More specifically, the picture type is described as follows, for example.
00: I picture 10: P picture 01: B picture restored by referring to the forward (future) frame. This is, for example, a B picture at the beginning of a long GOP video file in the case of an open GOP, or a B picture at the beginning of each GOP in the case of a closed GOP.
11: B picture restored by referring to the front and rear frames.

次の38ビットは、当該ピクチャのロングGOPビデオファイル内におけるファイルアドレスが示される。ファイルアドレスに38ビットを割り当てることで、サイズが256GB(ギガバイト)までのロングGOPビデオファイルに対応可能である。例えば、1層で27GBの記録容量を有する記録層が8層まで形成された光ディスク10に対応可能である。   The next 38 bits indicate a file address in the long GOP video file of the picture. By assigning 38 bits to the file address, a long GOP video file having a size up to 256 GB (gigabytes) can be supported. For example, it is possible to cope with the optical disc 10 in which up to eight recording layers having a recording capacity of 27 GB are formed in one layer.

このピクチャポインタテーブルは、ピクチャポインタファイルとして、非時系列メタデータと共に例えば記録媒体のNRT領域に記録される。光ディスク10がディスクドライブ11に装填された際に、このNRT領域に記録された非時系列メタデータとピクチャポインタファイルがディスクドライブ11により読み出され、光ディスク10が再生装置1のシステムに対してマウントされる。読み出された非時系列メタデータやピクチャポインタファイルは、例えばCPU14が有するRAMに保持される。CPU14は、RAMに保持されるピクチャポインタテーブルを参照することで、光ディスク10に記録されるクリップ中の任意のピクチャにアクセスすることができる。   This picture pointer table is recorded as a picture pointer file in the NRT area of the recording medium, for example, together with non-time series metadata. When the optical disk 10 is loaded into the disk drive 11, the non-time series metadata and the picture pointer file recorded in this NRT area are read by the disk drive 11, and the optical disk 10 is mounted on the system of the playback device 1. Is done. The read non-time-series metadata and picture pointer file are held in, for example, a RAM included in the CPU 14. The CPU 14 can access any picture in the clip recorded on the optical disk 10 by referring to the picture pointer table held in the RAM.

次に、この発明の実施の一形態による再生制御処理について、より詳細に説明する。先ず、図1のステップS2で説明した、目標フレームバッファパターンの作成について説明する。最初に、任意の目標再生フレームと、当該目標再生フレームに対して表示順で隣接する前後のフレームとを再生するために必要なフレームバッファサイズを求める。   Next, the reproduction control process according to the embodiment of the present invention will be described in more detail. First, the creation of the target frame buffer pattern described in step S2 of FIG. 1 will be described. First, a frame buffer size necessary for reproducing an arbitrary target reproduction frame and frames before and after adjacent to the target reproduction frame in display order are obtained.

図10は、カレントフレーム(例えば目標再生フレーム)に対して表示順で1フレーム後または1フレーム前のフレームをデコードする場合の必要バッファ量の例を示す。図10において、出力フレーム(カレントフレーム)を「0」で示し、現在より表示順で順方向すなわち未来(後)になるフレームは「+」を、表示順で逆方向すなわち過去(前)になるフレームは「−」を、それぞれ付して示す。また、図中、「M」は、間にBピクチャがある場合の、基準ピクチャから次の基準ピクチャまでのピクチャの移動数、「N」は、1GOP内のピクチャ数を示す。例えば、GOPが「I20153486711910141213」の15枚のピクチャで構成される場合、M=3、N=15である。 FIG. 10 shows an example of the necessary buffer amount when decoding a frame one frame after or one frame before in the display order with respect to the current frame (for example, the target reproduction frame). In FIG. 10, the output frame (current frame) is indicated by “0”, the frame that is forward in the display order, that is, the future (back) from the present, is “+”, and the reverse direction in the display order, that is, the past (front). The frame is indicated by “−”. In the figure, “M” indicates the number of moving pictures from the reference picture to the next reference picture when there is a B picture between them, and “N” indicates the number of pictures in one GOP. For example, when the GOP is composed of 15 pictures of “I 2 B 0 B 1 P 5 B 3 B 4 P 8 B 6 B 7 P 11 B 9 B 10 P 14 B 12 B 13 ”, M = 3 N = 15.

図10Aは、順方向に1フレームだけ再生を進める場合の例を示す。この場合、M=3のときに、目標再生フレームが隣り合ったBピクチャの表示順で前方のBピクチャの場合に、最もバッファが必要となる。この場合には、次のフレームタイミングで当該目標再生フレームから次のBピクチャに移動することになる。   FIG. 10A shows an example in which playback is advanced by one frame in the forward direction. In this case, when M = 3, the buffer is most necessary when the target playback frame is a B picture forward in the display order of adjacent B pictures. In this case, it moves from the target playback frame to the next B picture at the next frame timing.

すなわち、この場合には、B4ピクチャおよびB5ピクチャは、それぞれI3ピクチャおよびP6ピクチャを用いてデコードされる。B5ピクチャのデコードが終了するまで、I3ピクチャはバッファから破棄できず、且つ、P6ピクチャはB5ピクチャの次に表示されるため、バッファ内に保持される。したがって、M+1=4ピクチャ分のバッファが必要となる。 That is, in this case, the B 4 picture and the B 5 picture are decoded using the I 3 picture and the P 6 picture, respectively. Until the decoding of the B 5 picture is completed, the I 3 picture cannot be discarded from the buffer, and the P 6 picture is displayed next to the B 5 picture, and thus is held in the buffer. Therefore, a buffer for M + 1 = 4 pictures is required.

図10Bは、逆方向に1フレームだけ再生を進める(戻す)場合の例を示す。一般的なM=3およびN=15のオープンGOPであれば、目標再生フレームがI3’ピクチャである場合に、最もバッファが必要となる。この場合には、次のフレームタイミングで当該目標再生フレームから表示順で後方のB2’ピクチャに移動することになる。 FIG. 10B shows an example of the case where playback is advanced (returned) by one frame in the reverse direction. In the case of a general M = 3 and N = 15 open GOP, the buffer is most needed when the target playback frame is an I 3 'picture. In this case, at the next frame timing, it moves from the target playback frame to the rear B 2 'picture in the display order.

すなわち、この場合には、B2’ピクチャをデコードするために、I3’ピクチャと、B2’ピクチャの表示順で前のP15ピクチャとが必要となり、このP15ピクチャをデコードするために、当該P15ピクチャの属するGOPにおけるI3ピクチャ、P6ピクチャ、P9ピクチャ、P12ピクチャが順次、必要となる。したがって、N/M+2=7ピクチャ分のバッファが必要となる。ここで、N/Mは、GOPに含まれるIピクチャおよびPピクチャの枚数に相当する。 That is, in this case, 'in order to decode the picture, I 3' B 2 and the picture, B 2 'is required and the previous P 15 picture in the display order of the pictures, in order to decode the P 15 picture The I 3 picture, P 6 picture, P 9 picture, and P 12 picture in the GOP to which the P 15 picture belongs are sequentially required. Therefore, a buffer for N / M + 2 = 7 pictures is required. Here, N / M corresponds to the number of I pictures and P pictures included in the GOP.

図10Cは、順方向および逆方向の何れかの方向に対する1フレームの移行を考慮した場合の例である。一般的なM=3およびN=15のオープンGOPであれば、目標再生フレームがI3’ピクチャである場合に最もバッファが必要となる。この場合には、次のフレームタイミングで、当該I3’ピクチャの表示順で次のB4’ピクチャまたは表示順で前のB2’ピクチャに移動することになる。 FIG. 10C shows an example in which transition of one frame in either the forward direction or the reverse direction is considered. In the case of a general M = 3 and N = 15 open GOP, the buffer is most needed when the target playback frame is an I 3 'picture. In this case, at the next frame timing, it moves to the next B 4 'picture in the display order of the I 3 ' picture or the previous B 2 'picture in the display order.

すなわち、この場合は、上述の図10Aの例と図10Bの例とを組み合わせた状態となり、目標再生フレームであるI3’ピクチャの表示順で次のB4’ピクチャをデコードするために、当該I3’ピクチャと、当該I3’ピクチャの次に現れる基準ピクチャであるP6’ピクチャとが必要となる。また、当該I3’ピクチャの表示順で前のB2’ピクチャをデコードするために、当該I3’ピクチャと、当該I3’ピクチャの属するGOPの前のGOPにおけるI3ピクチャ、P6ピクチャ、P9ピクチャ、P12ピクチャおよびP15ピクチャとが順次、必要となる。したがって、N/M+M+1=9ピクチャ分のバッファが必要となる。 That is, in this case, the above example of FIG. 10A and the example of FIG. 10B are combined, and in order to decode the next B 4 ′ picture in the display order of the I 3 ′ picture that is the target playback frame, An I 3 'picture and a P 6 ' picture that is a reference picture that appears next to the I 3 'picture are required. Furthermore, in order to decode the picture 'before B 2 in the display order of the pictures' the I 3, the I 3 'picture and, the I 3' I 3 pictures in the previous GOP of the GOP belongs picture, P 6 picture , P 9 picture, P 12 picture and P 15 picture are sequentially required. Therefore, a buffer for N / M + M + 1 = 9 pictures is required.

このように、目標再生フレームから表示順で隣接する前後のフレームに移動する場合には、9ピクチャ分のバッファが必要となる。   As described above, when moving from the target playback frame to the adjacent frames in the display order, a buffer for 9 pictures is required.

この発明の実施の一形態では、フレームバッファにおいて、目標再生フレームに対して表示順で隣接する前後のピクチャが常に固定遅延で表示可能となるような、バッファの更新パターンを作成する。すなわち、デコードされバッファ上に存在する目標再生フレームに対して表示順で前後に隣接するフレームが常にデコードされバッファ上に存在する状態とする。さらに、逆方向再生を継続するために必要なフレームと、順方向再生を継続するために必要なフレームとを、常に、全てデコードし、バッファ上に溜め込んでおく。このようなバッファ上のパターンを、目標再生フレームを1フレーム毎に移動させた全パターンについて作成する。   In one embodiment of the present invention, a buffer update pattern is created in the frame buffer so that the previous and subsequent pictures adjacent to the target playback frame in the display order can always be displayed with a fixed delay. That is, a frame adjacent to the target playback frame decoded and existing on the buffer in the display order is always decoded and exists on the buffer. Further, all the frames necessary for continuing the backward reproduction and the frames necessary for continuing the forward reproduction are always decoded and stored in the buffer. Such a pattern on the buffer is created for all patterns in which the target playback frame is moved frame by frame.

この状態において、目標再生フレームが1フレーム分移動し、更新された場合、新たにデコードが必要となるデータは、再生方向が順方向および逆方向によらず常に1フレーム分となる。したがって、再生方向が順方向および逆方向の何れの場合の1倍速以内の再生速度での変速再生が、1倍速デコーダを用いて実現可能となる。   In this state, when the target playback frame is moved and updated by one frame, the data that needs to be newly decoded is always one frame regardless of the playback direction regardless of the forward direction or the reverse direction. Therefore, variable speed playback at a playback speed within 1 × speed when the playback direction is either the forward direction or the reverse direction can be realized using the 1 × speed decoder.

さらに、この状態において、逆方向の1倍速再生から、順方向の1倍速再生のコマンド速度の間では、固定遅延で再生出力結果を得ることができる。   Further, in this state, a playback output result can be obtained with a fixed delay between the reverse 1x speed playback and the forward 1x speed command speed.

図11は、上述の考えに基づき作成した目標フレームバッファの一例の更新パターンを示す。この図11の例は、(N=15、M=3)であるロングGOPの場合に関する。1GOPが15ピクチャ(フレーム)で構成されるため、15のパターンからなる。図11中の各行に示されるように、目標再生フレームに対応したフレームがフレームバッファに格納された状態で、目標再生フレームを任意の方向に1フレームずつ移動させた場合に、更新されるフレームがそれぞれ1フレーム分で済み、順方向および逆方向の1倍速以内の可変速再生を、1倍速デコーダを用いて行うことができるようにしている。   FIG. 11 shows an update pattern of an example of the target frame buffer created based on the above-described idea. The example of FIG. 11 relates to the case of a long GOP where (N = 15, M = 3). Since 1 GOP is composed of 15 pictures (frames), it consists of 15 patterns. As shown in each row in FIG. 11, when the target playback frame is moved one frame at a time in a state where the frame corresponding to the target playback frame is stored in the frame buffer, the updated frame is Only one frame is required, and variable-speed reproduction within the 1 × speed in the forward and reverse directions can be performed using a 1 × speed decoder.

なお、図11中のI、PおよびBは、それぞれIピクチャ、PピクチャおよびBピクチャに基づくフレームであって、付加される数字は、GOP内の表示順を示す。基準となるGOP(カレントGOP)に属するピクチャによるフレームは、記号を付加しない。カレントGOPの1つ前のGOP(GOP(−)と呼ぶ)に属するピクチャによるフレームに対して、マイナス記号(−)を付加する。カレントGOPの1つ後のGOP(GOP(+)と呼ぶ)に属するピクチャによるフレームに対して、プラス記号(+)を付加する。   Note that I, P, and B in FIG. 11 are frames based on the I picture, P picture, and B picture, respectively, and the added numbers indicate the display order in the GOP. A frame by a picture belonging to a reference GOP (current GOP) is not added a symbol. A minus sign (-) is added to a frame of a picture belonging to the GOP immediately before the current GOP (referred to as GOP (-)). A plus sign (+) is added to a frame of a picture belonging to the GOP (referred to as GOP (+)) immediately after the current GOP.

この図11の更新パターンは、図の上側から下側に向けた方向が順方向の再生を示し、下側から上側に向けた方向が逆方向の再生を示す。すなわち、図11の上側から下側に1行分進むことで、目標再生フレームが1フレーム進み、下側から上側に1行分進むことで、目標再生フレームが1フレーム戻る。また、この図11の更新パターンは、循環的とされ、第1行目から目標再生フレームが1フレーム分戻ったときには、第15行目のフレームバッファの格納パターンに移行される。   In the update pattern of FIG. 11, the direction from the upper side to the lower side in the drawing indicates playback in the forward direction, and the direction from the lower side to the upper side indicates playback in the reverse direction. That is, the target playback frame advances by one frame from the upper side to the lower side in FIG. 11, and the target playback frame returns by one frame by going from the lower side to the upper side by one row. Further, the update pattern of FIG. 11 is cyclic, and when the target playback frame returns by one frame from the first row, the storage pattern of the frame buffer on the 15th row is shifted to.

図11のフレームバッファの更新パターンにおいて、第1行目は、目標再生フレームがフレーム「I3」の場合のパターンの例である。目標再生フレーム「I3」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B4」およびフレーム「P6」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B2」、フレーム「P15−」、フレーム「P12−」、フレーム「P9−」、フレーム「P6−」およびフレーム「I3−」である。   In the frame buffer update pattern of FIG. 11, the first row is an example of a pattern in the case where the target playback frame is the frame “I3”. The frames required to advance one frame in the forward direction from the target playback frame “I3” are the frame “B4” and the frame “P6”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “B2”, the frame “P15-”, the frame “P12-”, the frame “P9-”, the frame “P6-”, and Frame “I3-”.

第2行目は、目標再生フレームがフレーム「B4」の場合のパターンの例である。目標再生フレーム「B4」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B5」およびフレーム「P6」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「I3」、フレーム「P15−」、フレーム「P12−」、フレーム「P9−」、フレーム「P6−」およびフレーム「I3−」である。   The second row is an example of a pattern when the target reproduction frame is the frame “B4”. Frames required to advance one frame in the forward direction from the target reproduction frame “B4” are the frame “B5” and the frame “P6”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “I3”, the frame “P15-”, the frame “P12-”, the frame “P9-”, the frame “P6-”, and Frame “I3-”.

第3行目は、目標再生フレームがフレーム「B5」の場合のパターンの例である。目標再生フレーム「B5」から順方向に1フレーム進むために必要とされるフレームは、フレーム「P6」およびフレーム「P9」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B4」、フレーム「I3」、フレーム「P12−」、フレーム「P9−」、フレーム「P6−」およびフレーム「I3−」である。   The third row is an example of a pattern when the target reproduction frame is the frame “B5”. The frames required to advance one frame in the forward direction from the target playback frame “B5” are the frame “P6” and the frame “P9”. Also, the frames required to return one frame in the reverse direction from the target playback frame are frame “B4”, frame “I3”, frame “P12-”, frame “P9-”, frame “P6-”, and frame "I3-".

第4行目は、目標再生フレームがフレーム「P6」の場合のパターンの例である。目標再生フレーム「P6」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B7」およびフレーム「P9」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B5」、フレーム「I3」、フレーム「P12−」、フレーム「P9−」、フレーム「P6−」およびフレーム「I3−」である。   The fourth line is an example of a pattern when the target reproduction frame is the frame “P6”. The frames required to advance one frame in the forward direction from the target reproduction frame “P6” are the frame “B7” and the frame “P9”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “B5”, the frame “I3”, the frame “P12-”, the frame “P9-”, the frame “P6-”, and the frame "I3-".

第5行目は、目標再生フレームがフレーム「B7」の場合のパターンの例である。目標再生フレーム「B7」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B8」およびフレーム「P9」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「P6」、フレーム「I3」、フレーム「P12−」、フレーム「P9−」、フレーム「P6−」およびフレーム「I3−」である。   The fifth line is an example of a pattern when the target reproduction frame is the frame “B7”. The frames required to advance one frame from the target reproduction frame “B7” in the forward direction are the frame “B8” and the frame “P9”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “P6”, the frame “I3”, the frame “P12-”, the frame “P9-”, the frame “P6-”, and the frame "I3-".

第6行目は、目標再生フレームがフレーム「B8」の場合のパターンの例である。目標再生フレーム「B8」から順方向に1フレーム進むために必要とされるフレームは、フレーム「P9」およびフレーム「P12」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B7」、フレーム「P6」、フレーム「I3」、フレーム「P9−」、フレーム「P6−」およびフレーム「I3−」である。   The sixth line is an example of a pattern when the target reproduction frame is the frame “B8”. The frames required to advance one frame from the target playback frame “B8” in the forward direction are the frames “P9” and “P12”. Also, the frames required for returning one frame from the target playback frame in the reverse direction are the frame “B7”, the frame “P6”, the frame “I3”, the frame “P9-”, the frame “P6-”, and the frame “ I3- ".

第7行目は、目標再生フレームがフレーム「P9」の場合のパターンの例である。目標再生フレーム「P9」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B10」およびフレーム「P12」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「P6」、フレーム「I3」、フレーム「P9−」、フレーム「P6−」およびフレーム「I3−」である。   The seventh line is an example of a pattern when the target reproduction frame is the frame “P9”. The frames required to advance one frame in the forward direction from the target reproduction frame “P9” are the frame “B10” and the frame “P12”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “P6”, the frame “I3”, the frame “P9-”, the frame “P6-”, and the frame “I3-”. .

第8行目は、目標再生フレームがフレーム「B10」の場合のパターンの例である。目標再生フレーム「B10」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B11」およびフレーム「P12」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「P9」、フレーム「P6」、フレーム「I3」、フレーム「P9−」、フレーム「P6−」およびフレーム「I3−」である。   The eighth line is an example of a pattern when the target reproduction frame is the frame “B10”. Frames required to advance one frame in the forward direction from the target reproduction frame “B10” are the frame “B11” and the frame “P12”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “P9”, the frame “P6”, the frame “I3”, the frame “P9-”, the frame “P6-”, and the frame “ I3- ".

第9行目は、目標再生フレームがフレーム「B11」の場合のパターンの例である。目標再生フレーム「B11」から順方向に1フレーム進むために必要とされるフレームは、フレーム「P12」およびフレーム「P15」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B10」、フレーム「P9」、フレーム「P6」、フレーム「I3」、フレーム「P6−」およびフレーム「I3−」である。   The ninth line is an example of a pattern when the target reproduction frame is the frame “B11”. Frames required to advance one frame in the forward direction from the target reproduction frame “B11” are the frame “P12” and the frame “P15”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “B10”, the frame “P9”, the frame “P6”, the frame “I3”, the frame “P6-”, and the frame “I3”. -".

第10行目は、目標再生フレームがフレーム「P12」の場合のパターンの例である。目標再生フレーム「P12」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B13」およびフレーム「P15」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B11」、フレーム「P9」、フレーム「P6」、フレーム「I3」、フレーム「P6−」およびフレーム「I3−」である。   The 10th line is an example of a pattern when the target reproduction frame is the frame “P12”. The frames required to advance one frame from the target playback frame “P12” in the forward direction are the frame “B13” and the frame “P15”. Also, the frames required to return one frame from the target playback frame in the reverse direction are the frame “B11”, the frame “P9”, the frame “P6”, the frame “I3”, the frame “P6-”, and the frame “I3”. -".

第11行目は、目標再生フレームがフレーム「B13」の場合のパターンの例である。目標再生フレーム「B13」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B14」およびフレーム「P15」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「P12」、フレーム「P9」、フレーム「P6」、フレーム「I3」、フレーム「P6−」およびフレーム「I3−」である。   The eleventh line is an example of a pattern when the target reproduction frame is the frame “B13”. Frames required to advance one frame in the forward direction from the target reproduction frame “B13” are the frame “B14” and the frame “P15”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “P12”, the frame “P9”, the frame “P6”, the frame “I3”, the frame “P6-”, and the frame “I3”. -".

第12行目は、目標再生フレームがフレーム「B14」の場合のパターンの例である。目標再生フレーム「B14」から順方向に1フレーム進むために必要とされるフレームは、フレーム「P15」およびフレーム「I3+」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B13」、フレーム「P12」、フレーム「P9」、フレーム「P6」、フレーム「I3」およびフレーム「I3−」である。   The twelfth line is an example of a pattern when the target reproduction frame is the frame “B14”. Frames required to advance one frame in the forward direction from the target reproduction frame “B14” are the frame “P15” and the frame “I3 +”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “B13”, the frame “P12”, the frame “P9”, the frame “P6”, the frame “I3”, and the frame “I3- It is.

第13行目は、目標再生フレームがフレーム「P15」の場合のパターンの例である。目標再生フレーム「P15」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B1+」およびフレーム「I3+」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B14」、フレーム「P12」、フレーム「P9」、フレーム「P6」、フレーム「I3」およびフレーム「I3−」である。   The 13th line shows an example of a pattern when the target reproduction frame is the frame “P15”. The frames required to advance one frame in the forward direction from the target playback frame “P15” are the frame “B1 +” and the frame “I3 +”. Also, the frames required to return one frame from the target playback frame in the reverse direction are the frame “B14”, the frame “P12”, the frame “P9”, the frame “P6”, the frame “I3”, and the frame “I3- It is.

第14行目は、目標再生フレームがフレーム「B1+」の場合のパターンの例である。目標再生フレーム「B1+」から順方向に1フレーム進むために必要とされるフレームは、フレーム「B2+」およびフレーム「I3+」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「P15」、フレーム「P12」、フレーム「P9」、フレーム「P6」、フレーム「I3」およびフレーム「I3−」である。   The 14th line is an example of a pattern when the target reproduction frame is the frame “B1 +”. The frames required to advance one frame in the forward direction from the target reproduction frame “B1 +” are the frame “B2 +” and the frame “I3 +”. Also, the frames required to return one frame in the reverse direction from the target playback frame are the frame “P15”, the frame “P12”, the frame “P9”, the frame “P6”, the frame “I3”, and the frame “I3- It is.

第15行目は、目標再生フレームがフレーム「B2+」の場合のパターンの例である。目標再生フレーム「B2+」から順方向に1フレーム進むために必要とされるフレームは、フレーム「I3+」およびフレーム「P6+」である。また、目標再生フレームから逆方向に1フレーム戻るために必要とされるフレームは、フレーム「B1+」フレーム「P15」、フレーム「P12」、フレーム「P9」、フレーム「P6」およびフレーム「I3」である。   The 15th line shows an example of a pattern when the target reproduction frame is the frame “B2 +”. The frames required to advance one frame in the forward direction from the target reproduction frame “B2 +” are the frame “I3 +” and the frame “P6 +”. Also, the frames required to return one frame from the target playback frame in the reverse direction are the frame “B1 +”, the frame “P15”, the frame “P12”, the frame “P9”, the frame “P6”, and the frame “I3”. is there.

このように、図11に一例を示すフレームバッファの更新パターンでは、各フレーム毎の更新パターン間で、1フレーム分のみが更新されるようになっている。幾つかの例を挙げて、より具体的に説明する。   In this manner, in the frame buffer update pattern shown in FIG. 11, only one frame is updated between the update patterns for each frame. This will be described more specifically with some examples.

第1の例として、目標再生フレームがPピクチャによるフレーム「P6」の場合について説明する。この場合、順方向および逆方向について1倍速以内の再生速度範囲においては、当該目標再生フレームの1フレームタイミング後に新たな目標再生フレームとなる可能性のあるフレームは、当該フレーム「P6」と、当該フレーム「P6」に対して表示順で前後に隣接するフレーム「B5」およびフレーム「B7」とである。   As a first example, a case where the target playback frame is a frame “P6” based on a P picture will be described. In this case, in the playback speed range within 1 × speed in the forward and reverse directions, a frame that may become a new target playback frame after one frame timing of the target playback frame is the frame “P6”, The frame “B5” and the frame “B7” are adjacent to the frame “P6” in the display order.

目標再生フレームがフレーム「P6」の状態において、上述したような、目標再生フレームに基づき作成された目標フレームバッファパターンに従いデコードされたフレームがフレームバッファに格納された状態では(図11の第4行目のパターン参照)、目標再生フレーム「P6」と、その前後のフレーム「B5」およびフレーム「B7」は、それぞれ既にデコードされた状態でフレームバッファに格納されている。   In a state where the target playback frame is the frame “P6”, a frame decoded according to the target frame buffer pattern created based on the target playback frame as described above is stored in the frame buffer (the fourth row in FIG. 11). The target reproduction frame “P6”, the frames “B5” and “B7” before and after the target reproduction frame are stored in the frame buffer in a state where they have already been decoded.

この状態から目標再生フレームがフレーム「B5」またはフレーム「B7」に移行された場合、移行された目標再生フレームに対する新たな目標フレームバッファパターンに基づいて、新たに必要となるフレームをデコードされた状態でフレームバッファに格納していく。   When the target playback frame is shifted to the frame “B5” or the frame “B7” from this state, a newly required frame is decoded based on a new target frame buffer pattern for the transferred target playback frame. To store in the frame buffer.

これらのデータが格納されたフレームバッファの他の領域は、直前のデータが保持される。すなわち、図11の例では、第4行目に示されるように、目標再生フレームがフレーム「P6」のときは、フレームバッファに、当該フレーム「P6」と、当該フレーム「P6」と同じGOPに属するフレーム「I3」、フレーム「P9」、フレーム「B5」およびフレーム「B7」、ならびに、当該フレーム「P6」が属するGOPに対して1つ前のGOPに属するフレーム「I3−」、フレーム「P6−」、フレーム「P9−」およびフレーム「P12−」が格納される。   The other area of the frame buffer in which these data are stored holds the immediately preceding data. That is, in the example of FIG. 11, when the target playback frame is the frame “P6”, the frame “P6” and the same GOP as the frame “P6” are stored in the frame buffer as shown in the fourth row. The frame “I3”, the frame “P9”, the frame “B5”, the frame “B7”, and the frame “I3-” and the frame “P6” that belong to the previous GOP with respect to the GOP to which the frame “P6” belongs. -", Frame" P9- "and frame" P12- "are stored.

この目標再生フレームがフレーム「P6」の場合、順方向に1フレーム分、目標再生フレームが移行すると、新たな目標再生フレームがフレーム「B7」となる。また、この新たな目標再生フレームに対して1フレームタイミング後にさらに新たな目標再生フレームとなる可能性があるフレームは、フレーム「B7」と、当該フレーム「B7」に対して表示順で前後に隣接するフレーム「P6」およびフレーム「B8」となる。   When the target playback frame is frame “P6”, when the target playback frame shifts by one frame in the forward direction, the new target playback frame becomes frame “B7”. In addition, a frame that may become a new target playback frame after one frame timing with respect to this new target playback frame is adjacent to the frame “B7” and the frame “B7” in the display order. The frame “P6” and the frame “B8” are set.

なお、再生速度が順方向および逆方向に1倍速以内の場合、同一のフレームが2フレームタイミングで連続して出力される場合がある。この場合、次のフレームタイミングに移っても、目標再生フレームが変化しない。   Note that if the playback speed is within 1 × speed in the forward and reverse directions, the same frame may be output continuously at two frame timings. In this case, the target playback frame does not change even when moving to the next frame timing.

これらのうち、フレーム「P6」は、現在の目標再生フレームであるため、既にフレームバッファ上に存在している。また、フレーム「B8」をデコードするためには、フレーム「P6」およびフレーム「P9」が必要となる。フレーム「P6」およびフレーム「P9」は、それぞれフレーム「B7」をデコードするために用いられているので、既にフレームバッファ上に存在している。フレーム「B8」がこれらフレーム「P6」および「P9」を用いてデコードされる。   Among these, since the frame “P6” is the current target reproduction frame, it already exists on the frame buffer. Further, in order to decode the frame “B8”, the frame “P6” and the frame “P9” are required. Since the frames “P6” and “P9” are used to decode the frame “B7”, they already exist on the frame buffer. Frame “B8” is decoded using these frames “P6” and “P9”.

一方、目標再生フレームがフレーム「B7」に移行した場合、目標再生フレームがフレーム「P6」の状態における逆方向側の表示順で隣接フレームであったフレーム「B5」は、不要となるため破棄される。フレームバッファ上の、この破棄されたフレーム「B5」の領域に、新たにデコードされたフレーム「B8」が格納され、フレームバッファが更新される。   On the other hand, when the target playback frame shifts to the frame “B7”, the frame “B5” which is the adjacent frame in the reverse display order in the state of the frame “P6” is discarded because it is unnecessary. The The newly decoded frame “B8” is stored in the area of the discarded frame “B5” on the frame buffer, and the frame buffer is updated.

逆方向に1フレーム分、再生が戻されると、新たな目標再生フレームがフレーム「B5」となり、この新たな目標再生フレームに対して1フレームタイミング後にさらに新たな目標再生フレームとなる可能性のあるフレームは、フレーム「B5」と、フレーム「B4」およびフレーム「P6」とである。フレーム「P6」は、現在の目標再生フレームであるため、既にフレームバッファ上に存在している。また、フレーム「B4」をデコードするためには、フレーム「I3」およびフレーム「P6」が必要となる。フレーム「I3」を、フレームバッファ上に保持する。フレーム「B4」がこれらフレーム「I3」および「P6」を用いてデコードされる。   When the playback is returned by one frame in the reverse direction, the new target playback frame becomes the frame “B5”, and there is a possibility that the new target playback frame becomes a new target playback frame after one frame timing. The frames are a frame “B5”, a frame “B4”, and a frame “P6”. Since the frame “P6” is the current target playback frame, it already exists on the frame buffer. Further, in order to decode the frame “B4”, the frame “I3” and the frame “P6” are required. The frame “I3” is held on the frame buffer. Frame “B4” is decoded using these frames “I3” and “P6”.

一方、目標再生フレームがフレーム「P6」からフレーム「B5」に移行した場合、目標再生フレームが「P6」の状態における順方向側の隣接フレームであったフレーム「B7」は、不要となるため、破棄される。フレームバッファ上の、この破棄されたフレーム「B7」の領域に、新たにデコードされたフレーム「B4」が格納され、フレームバッファが更新される。   On the other hand, when the target playback frame shifts from the frame “P6” to the frame “B5”, the frame “B7” that is the adjacent frame on the forward direction side in the state where the target playback frame is “P6” becomes unnecessary. Discarded. The newly decoded frame “B4” is stored in the area of the discarded frame “B7” on the frame buffer, and the frame buffer is updated.

このように、目標再生フレームがフレーム「P6」の状態から順方向に1フレーム分進んだ場合、フレームの更新は、フレーム「B5」からフレーム「B8」への1フレーム分のみ、行われる。目標再生フレームがフレーム「P6」の状態から逆方向に1フレーム分戻された場合も、フレームの更新は、フレーム「B7」からフレーム「B4」への1フレーム分のみ、行われる。   As described above, when the target reproduction frame advances by one frame in the forward direction from the state of the frame “P6”, the frame is updated only for one frame from the frame “B5” to the frame “B8”. Even when the target playback frame is returned by one frame in the reverse direction from the state of frame “P6”, the frame is updated only for one frame from frame “B7” to frame “B4”.

第2の例として、目標再生フレームがBピクチャによるフレーム「B7」の場合について説明する。この場合、順方向および逆方向について1倍速以内の再生速度範囲においては、当該目標再生フレームの1フレームタイミング後に新たな目標再生フレームとなる可能性のあるフレームは、当該フレーム「B7」と、当該フレーム「B7」に対して表示順で前後に隣接するフレーム「P6」および「B8」とである。   As a second example, a case where the target playback frame is a frame “B7” based on a B picture will be described. In this case, in the playback speed range within 1 × speed in the forward and reverse directions, a frame that may become a new target playback frame after one frame timing of the target playback frame is the frame “B7”, The frames “P6” and “B8” are adjacent to the frame “B7” in the display order.

目標再生フレームがフレーム「B7」の状態において、上述したような、目標再生フレームに基づき作成された目標フレームバッファパターンに従いデコードされたフレームがフレームバッファに格納された状態では(図11の第5行目のパターン参照)、目標再生フレーム「B7」と、その前後のフレーム「P6」およびフレーム「B8」は、それぞれ既にデコードされた状態でフレームバッファに格納されている。   In the state where the target playback frame is the frame “B7”, the frame decoded according to the target frame buffer pattern created based on the target playback frame as described above is stored in the frame buffer (the fifth row in FIG. 11). The target reproduction frame “B7”, the frames “P6” and “B8” before and after the target reproduction frame are stored in the frame buffer in a state where they have already been decoded.

この状態から目標再生フレームがフレーム「P6」またはフレーム「B8」に移行された場合、移行された目標再生フレームに対する新たな目標フレームバッファパターンに基づいて、新たに必要となるフレームをデコードされた状態でフレームバッファに格納していく。   When the target playback frame is shifted to frame “P6” or frame “B8” from this state, a newly required frame is decoded based on a new target frame buffer pattern for the transferred target playback frame. To store in the frame buffer.

これらのデータが格納されたフレームバッファの他の領域は、直前のデータが保持される。すなわち、図11の例では、第5行目に示されるように、目標再生フレームがフレーム「B7」のときには、フレームバッファに、当該フレーム「B7」と、当該フレーム「B7」と同じGOPに属するフレーム「I3」、フレーム「P9」およびフレーム「B8」、ならびに、当該フレーム「B7」が属するGOPに対して1つ前のGOPに属するフレーム「I3−」、フレーム「P6−」、フレーム「P9−」およびフレーム「P12−」が格納される。   The other area of the frame buffer in which these data are stored holds the immediately preceding data. That is, in the example of FIG. 11, when the target playback frame is the frame “B7”, the frame “B7” and the frame “B7” belong to the same GOP as the frame “B7” as shown in the fifth row. The frame “I3”, the frame “P9”, the frame “B8”, the frame “I3-”, the frame “P6-”, and the frame “P9” that belong to the previous GOP with respect to the GOP to which the frame “B7” belongs. -"And frame" P12- "are stored.

この目標再生フレームがフレーム「B7」の場合、順方向に1フレーム分、目標再生フレームが移行すると、新たな目標再生フレームがフレーム「B8」になる。また、この新たな目標再生フレームに対して1フレームタイミング後にさらに新たな目標再生フレームとなる可能性があるフレームは、当該フレーム「B8」と、当該フレーム「B8」に対して表示順で前後に隣接するフレーム「B7」およびフレーム「P9」とである。   When the target playback frame is frame “B7”, when the target playback frame shifts by one frame in the forward direction, the new target playback frame becomes frame “B8”. In addition, a frame that may become a new target playback frame after one frame timing with respect to the new target playback frame is displayed before and after the frame “B8” and the frame “B8” in the display order. The adjacent frames are “B7” and “P9”.

これらのうち、フレーム「B7」は、現在の目標再生フレームであるため、既にフレームバッファ上に存在している。また、フレーム「B8」をデコードするためには、フレーム「P6」およびフレーム「P9」が必要となる。フレーム「P6」およびフレーム「P9」は、それぞれフレーム「B7」をデコードするために必要なフレームであるので、既にフレームバッファ上に存在している。フレーム「B8」がこれらフレーム「P6」および「P9」を用いてデコードされる。また、フレーム「P9」も、既にフレームバッファ上に存在している。   Among these, since the frame “B7” is the current target reproduction frame, it already exists on the frame buffer. Further, in order to decode the frame “B8”, the frame “P6” and the frame “P9” are required. Since the frames “P6” and “P9” are frames necessary for decoding the frame “B7”, they already exist on the frame buffer. Frame “B8” is decoded using these frames “P6” and “P9”. Also, the frame “P9” already exists on the frame buffer.

この場合には、目標再生フレームがフレーム「B7」の状態における逆方向側の表示順で隣接フレームであったフレーム「P6」は、フレーム「B8」をデコードするために用いられるため、破棄されない。さらに順方向に1フレーム、再生が進んだ際に用いられるフレーム「P12」が、フレーム「P9」を用いてデコードされる。また、バッファメモリ内に存在する最も前のGOPに属するフレームのうち、バッファメモリ内に存在し最も表示順で新しいフレームであるフレーム「P12−」を破棄し、デコードされたフレーム「P12」を格納する。   In this case, the frame “P6” that was the adjacent frame in the reverse display order in the state where the target playback frame is the frame “B7” is used for decoding the frame “B8” and is not discarded. Further, the frame “P12” used when the playback progresses by one frame in the forward direction is decoded using the frame “P9”. Also, among the frames belonging to the earliest GOP existing in the buffer memory, the frame “P12−” that is present in the buffer memory and is the newest frame in the display order is discarded, and the decoded frame “P12” is stored. To do.

逆方向に1フレーム分、再生が戻されると、新たな目標再生フレームがフレーム「P6」となり、この新たな目標再生フレームに対して1フレームタイミング後にさらに新たな目標再生フレームとなる可能性のあるフレームは、フレーム「P6」と、フレーム「B5」およびフレーム「B7」とである。フレーム「B7」は、現在の目標再生フレームであるため、既にフレームバッファ上に存在している。また、フレーム「B5」をデコードするためには、フレーム「I3」およびフレーム「P6」が必要となる。フレーム「I3」をフレームバッファ上に保持する。フレーム「B5」がこれらフレーム「I3」およびフレーム「P6」を用いてデコードされる。   When the playback is returned by one frame in the reverse direction, the new target playback frame becomes the frame “P6”, and there is a possibility that the new target playback frame becomes a new target playback frame after one frame timing. The frames are a frame “P6”, a frame “B5”, and a frame “B7”. Since the frame “B7” is the current target playback frame, it already exists on the frame buffer. Further, in order to decode the frame “B5”, the frame “I3” and the frame “P6” are required. The frame “I3” is held on the frame buffer. Frame “B5” is decoded using frame “I3” and frame “P6”.

一方、目標再生フレームがフレーム「B7」からフレーム「P6」に移行した場合、目標再生フレームが「B7」の状態における順方向側の隣接フレームであったフレーム「B8」は、不要となるため、破棄される。フレームバッファ上の、この破棄されたフレーム「B8」の領域に、新たにデコードされたフレーム「B5」が格納され、フレームバッファが更新される。   On the other hand, when the target playback frame shifts from the frame “B7” to the frame “P6”, the frame “B8” that is the adjacent frame on the forward direction side in the state where the target playback frame is “B7” becomes unnecessary. Discarded. The newly decoded frame “B5” is stored in the area of the discarded frame “B8” on the frame buffer, and the frame buffer is updated.

このように、目標再生フレームがフレーム「B7」の状態から順方向に1フレーム進んだ場合、フレームの更新は、フレーム「P12−」からフレーム「P12」への1フレーム分のみ、行われる。目標再生フレームがフレーム「B7」の状態から逆方向に1フレーム分戻された場合も、フレームの更新は、フレーム「B8」からフレーム「B5」への1フレーム分のみ、行われる。   In this way, when the target playback frame advances one frame in the forward direction from the state of frame “B7”, the frame is updated only for one frame from frame “P12−” to frame “P12”. Even when the target playback frame is returned by one frame in the reverse direction from the state of the frame “B7”, the frame is updated only for one frame from the frame “B8” to the frame “B5”.

第3の例として、目標再生フレームがIピクチャによるフレーム「I3」の場合について説明する。この場合、順方向および逆方向について1倍速以内の再生速度範囲においては、当該目標再生フレームの1フレームタイミング後に新たな目標再生フレームとなる可能性のあるフレームは、当該フレーム「I3」と、当該フレーム「I3」に対して表示順で前後に隣接するフレーム「B2」およびフレーム「B4」とである。   As a third example, a case where the target playback frame is a frame “I3” based on an I picture will be described. In this case, in the playback speed range within 1 × speed in the forward and reverse directions, a frame that may become a new target playback frame after one frame timing of the target playback frame is the frame “I3”, The frame “B2” and the frame “B4” are adjacent to the frame “I3” in the display order.

目標再生フレームがフレーム「I3」の状態において、上述したような、目標再生フレームに基づき作成された目標フレームバッファパターンに従いデコードされたデータがフレームバッファに格納された状態では(図11の第1行目のパターン参照)、目標再生フレーム「I3」と、その前後のフレーム「B2」およびフレーム「B4」は、それぞれ既にデコードされた状態でフレームバッファに格納されている。   In the state where the target playback frame is the frame “I3”, the data decoded in accordance with the target frame buffer pattern created based on the target playback frame as described above is stored in the frame buffer (the first row in FIG. 11). The target reproduction frame “I3”, the frames “B2” and “B4” before and after the target reproduction frame are stored in the frame buffer in a decoded state.

この状態から目標再生フレームがフレーム「B2」またはフレーム「B4」に移行された場合、移行された目標再生フレームに対する新たな目標フレームバッファパターンに基づいて、新たに必要となるフレームをデコードされた状態でフレームバッファに格納していく。   When the target playback frame is shifted to the frame “B2” or the frame “B4” from this state, a newly required frame is decoded based on a new target frame buffer pattern for the transferred target playback frame. To store in the frame buffer.

これらのデータが格納されたフレームバッファの他の領域は、直前のデータが保持される。すなわち、図11の例では、第1行目に示されるように、目標再生フレームが「I3」のときには、フレームバッファに、当該フレーム「I3」と、当該フレーム「I3」と同じGOPに属する、フレーム「P6」、フレーム「B2」およびフレーム「B4」、ならびに、当該フレーム「I3」が属するGOPに対して1つ前のGOPに属するフレーム「I3−」、フレーム「P6−」、フレーム「P9」、フレーム「P12−」およびフレーム「P15」とが格納される。   The other area of the frame buffer in which these data are stored holds the immediately preceding data. That is, in the example of FIG. 11, when the target playback frame is “I3” as shown in the first row, the frame “I3” belongs to the same GOP as the frame “I3” and the frame “I3”. The frame “P6”, the frame “B2”, the frame “B4”, the frame “I3-”, the frame “P6-”, and the frame “P9” that belong to the previous GOP with respect to the GOP to which the frame “I3” belongs. ”,“ P12− ”, and“ P15 ”are stored.

目標再生フレームがフレーム「I3」の場合、順方向に1フレーム分、目標再生フレームが移行すると、新たな目標再生フレームがフレーム「B4」になる。また、この新たな目標再生フレームに対して1フレームタイミング後にさらに新たな目標再生フレームとなる可能性があるフレームは、当該フレーム「B4」と、当該フレームに対して表示順で前後に隣接するフレーム「I3」およびフレーム「B5」とである。   When the target playback frame is frame “I3”, when the target playback frame shifts by one frame in the forward direction, the new target playback frame becomes frame “B4”. Further, a frame that may become a new target playback frame after one frame timing with respect to the new target playback frame is a frame that is adjacent to the frame “B4” in the display order. “I3” and frame “B5”.

これらのうち、フレーム「I3」は、現在の目標再生フレームであるため、既にフレームバッファ上に存在している。また、フレーム「B5」をデコードするためには、フレーム「I3」およびフレーム「P6」が必要となる。フレーム「P6」は、フレーム「B4」をデコードするために用いられているので、既にフレームバッファ上に存在している。フレーム「B5」がこれらフレーム「I3」および「P6」を用いてデコードされる。   Among these, since the frame “I3” is the current target playback frame, it already exists on the frame buffer. Further, in order to decode the frame “B5”, the frame “I3” and the frame “P6” are required. Since the frame “P6” is used to decode the frame “B4”, it already exists on the frame buffer. Frame “B5” is decoded using these frames “I3” and “P6”.

この場合には、目標再生フレームが「I3」の状態における逆方向側の目標再生フレームであるフレーム「B2」は、不要となるため、破棄される。フレームバッファ上の、この破棄されるフレーム「B2」の領域にデコードされたフレーム「B5」が格納され、フレームバッファが更新される。   In this case, the frame “B2” which is the target reproduction frame on the reverse direction side in the state where the target reproduction frame is “I3” is unnecessary and is discarded. The decoded frame “B5” is stored in the area of the frame “B2” to be discarded on the frame buffer, and the frame buffer is updated.

逆方向に1フレーム分、再生が戻されると、新たな目標再生フレームがフレーム「B2」となり、この新たな目標再生フレーム対して1フレームタイミング後に新たな目標再生フレームとなる可能性のあるフレームは、フレーム「B2」と、フレーム「B1」およびフレーム「I3」とである。フレーム「I3」は、現在の目標再生フレームであるため、既にフレームバッファ上に存在している。また、フレーム「B1」をデコードするためには、フレーム「I3」と、フレーム「I3」が属するGOPの1つ前のGOPに属するフレーム「P15−」が必要となる。フレーム「B1」がこれらフレーム「P15−」および「I3」を用いてデコードされる。   When playback is returned by one frame in the reverse direction, the new target playback frame becomes frame “B2”, and a frame that may become a new target playback frame after one frame timing with respect to this new target playback frame is , “B2”, “B1”, and “I3”. Since the frame “I3” is the current target playback frame, it already exists on the frame buffer. Further, in order to decode the frame “B1”, the frame “I3” and the frame “P15−” belonging to the GOP immediately before the GOP to which the frame “I3” belongs are necessary. Frame “B1” is decoded using these frames “P15-” and “I3”.

一方、目標再生フレームがフレーム「I3」からフレーム「B2」に移行した場合、目標再生フレームがフレーム「I3」の状態における順方向の隣接フレームであったフレーム「B4」は、不要となるため、破棄される。フレームバッファ上の、この破棄されたフレーム「B4」の領域に、新たにデコードされたフレーム「B1」が格納され、フレームバッファが更新される。   On the other hand, when the target playback frame shifts from the frame “I3” to the frame “B2”, the frame “B4” that is the forward adjacent frame in the state of the frame “I3” is not necessary, Discarded. The newly decoded frame “B1” is stored in the area of the discarded frame “B4” on the frame buffer, and the frame buffer is updated.

このように、目標再生フレームがフレーム「I3」の状態から順方向に1フレーム進んだ場合、フレームの更新は、フレーム「B2」からフレーム「B5」への1フレーム分のみ、行われる。目標再生フレームがフレーム「I3」の状態から逆方向に1フレーム分戻された場合も、フレームの更新は、フレーム「B4」からフレーム「B1」への1フレーム分のみ、行われる。   Thus, when the target playback frame advances one frame in the forward direction from the state of frame “I3”, the frame is updated only for one frame from frame “B2” to frame “B5”. Even when the target playback frame is returned by one frame in the reverse direction from the state of the frame “I3”, the frame is updated only for one frame from the frame “B4” to the frame “B1”.

なお、上述したように、目標再生フレームが他のフレームに移行される際には、バッファメモリに格納された1フレームが破棄され、破棄されたフレーム領域に新たな1フレームがデコードされて格納され、バッファメモリが更新される。このとき、バッファメモリから破棄するフレームを、次のルールに基づき決めることができる。
(1)目標再生フレームおよび表示順で目標再生フレームに隣接するフレーム以外のBピクチャによるフレームは、破棄する。
(2)上述の(1)のルールに従い破棄するBピクチャによるフレームが存在しなかった場合、バッファメモリ上に存在する、下記(2a)または(2b)の条件を満たすIまたはPピクチャによるフレームを破棄する。
(2a)順方向への目標再生フレーム移行の場合、目標再生フレームが存在するGOPから逆方向に最も離れたGOPにおいて、そのGOPに属する最後尾のIまたはPピクチャ。
(2b)逆方向への目標再生フレーム移行の場合、目標再生フレームが存在するGOPから順方向に最も離れたGOPにおいて、そのGOPに属する最後尾のIまたはPピクチャ。
As described above, when the target playback frame is transferred to another frame, one frame stored in the buffer memory is discarded, and one new frame is decoded and stored in the discarded frame area. The buffer memory is updated. At this time, a frame to be discarded from the buffer memory can be determined based on the following rule.
(1) Discards the target playback frame and the B picture frame other than the frame adjacent to the target playback frame in the display order.
(2) If there is no frame based on the B picture to be discarded in accordance with the rule (1) above, a frame based on the I or P picture that satisfies the following condition (2a) or (2b) is present on the buffer memory. Discard.
(2a) In the case of a target playback frame transition in the forward direction, the last I or P picture belonging to the GOP in the GOP farthest in the reverse direction from the GOP in which the target playback frame exists.
(2b) In the case of a target playback frame transition in the reverse direction, in the GOP farthest in the forward direction from the GOP in which the target playback frame exists, the last I or P picture belonging to that GOP.

上述のように、この発明の実施の一形態によるバッファメモリの更新パターンに従いバッファメモリ上にデータを溜め込んでおけば、現在の目標再生フレームがIピクチャによるフレーム、PピクチャによるフレームおよびBピクチャによるフレームの何れであっても、任意の方向への1フレーム分の移動に対してバッファメモリ上で行進されるデータが1フレーム分のみで済む。したがって、順方向および逆方向の1倍速以内の可変速再生を、1倍速デコーダを用いて固定遅延で実行することができる。   As described above, if data is stored in the buffer memory according to the update pattern of the buffer memory according to the embodiment of the present invention, the current target reproduction frame is a frame based on I picture, a frame based on P picture, and a frame based on B picture. In either case, only one frame of data marching on the buffer memory is required for movement of one frame in an arbitrary direction. Therefore, variable speed reproduction within 1 × speed in the forward and reverse directions can be executed with a fixed delay using the 1 × speed decoder.

なお、上述では、現在の目標再生フレームとして、GOPを構成するIピクチャ、PピクチャおよびBピクチャのそれぞれについて一例ずつ例を挙げて説明を行ったが、説明を省略した他のフレームが現在の目標再生フレームの場合でも、同様にして、任意の方向への1フレーム分の移動に対して、バッファメモリ上の1フレーム分のデータのみが更新される。   In the above description, an example has been described for each of the I picture, the P picture, and the B picture that constitute the GOP as the current target playback frame. However, other frames that are not described here are the current target playback frame. Similarly, in the case of a playback frame, only one frame of data on the buffer memory is updated with respect to movement of one frame in an arbitrary direction.

次に、上述したような目標フレームバッファのパターンの一例の作成方法について、図12のフローチャートを用いて説明する。また、以下では、目標とされるフレーム(カレントフレームと呼ぶ)がBピクチャによるフレームであるものとして説明する。   Next, a method of creating an example of the target frame buffer pattern as described above will be described with reference to the flowchart of FIG. In the following description, it is assumed that a target frame (referred to as a current frame) is a B picture frame.

先ず、ステップS10で、カレントフレームが属するカレントGOPのIピクチャ(I0)を取得する。図13Aに一例が示されるように、カレントフレームに対応するピクチャから記録媒体上の順序で逆方向に向けて、Iピクチャを検索する。なお、この段階では、目標フレームバッファパターンのフレームは、一つも確定していない(図14A参照)。 First, in step S10, an I picture (I 0 ) of the current GOP to which the current frame belongs is acquired. As shown in FIG. 13A, an I picture is searched from the picture corresponding to the current frame in the reverse direction in the order on the recording medium. At this stage, no frame of the target frame buffer pattern has been determined (see FIG. 14A).

カレントGOPの先頭Iピクチャ(I0)ピクチャが取得されると、ステップS11で、カレントフレームに対応するピクチャから記録媒体上の順序で順方向に向けて、カレントフレームより2フレーム進んだ位置以降のIピクチャまたはPピクチャ(P0)を検索する(図13B参照)。この段階では、目標フレームバッファパターンのフレームは、一つも確定していない(図14B参照)。 When the first I picture (I 0 ) picture of the current GOP is acquired, in step S 11, the position after the position advanced by two frames from the current frame in the forward direction on the recording medium from the picture corresponding to the current frame. An I picture or a P picture (P 0 ) is searched (see FIG. 13B). At this stage, no frame of the target frame buffer pattern is determined (see FIG. 14B).

ステップS12で、上述したステップS10およびステップS11で取得されたピクチャ(I0)からピクチャ(P0)までのIおよび/またはPピクチャを記録媒体から検索する。例えば、図13Cに一例が示されるように、ステップS10で検索されたピクチャ(I0)を目標フレームバッファパターンに用いるフレームとして確定する。さらに、ピクチャ(I0)から記録媒体上の順序で順方向に向けて、次のPピクチャ(P)が検索される。検索されたPピクチャを、目標フレームバッファパターンに用いるフレームとして確定する。このように、記録媒体から順次、検索されたPまたはIピクチャに基づき、目標フレームバッファパターンに用いる、カレントGOPのフレームが順次、確定される(図14C参照)。 In step S12, I and / or P pictures from the picture (I 0 ) to the picture (P 0 ) acquired in steps S10 and S11 described above are searched from the recording medium. For example, as shown in FIG. 13C, the picture (I 0 ) retrieved in step S10 is determined as a frame to be used for the target frame buffer pattern. Further, the next P picture (P) is searched from the picture (I 0 ) in the forward direction in the order on the recording medium. The retrieved P picture is determined as a frame to be used for the target frame buffer pattern. As described above, the frame of the current GOP used for the target frame buffer pattern is sequentially determined based on the P or I picture searched sequentially from the recording medium (see FIG. 14C).

ステップS12で、カレントGOPのIおよびPピクチャによるフレームが目標フレームバッファパターンに用いるフレームとして確定されると、ステップS13で、記録媒体上の順序で、カレントフレームの1つ前のフレームからカレントフレームの1つ後のフレームまでの間に存在するBピクチャが検索される(図13D参照)。検索されたBピクチャによるフレームは、目標フレームバッファパターンに用いられる、カレントGOPのフレームとして確定される(図14D参照)。   When the frame based on the I and P pictures of the current GOP is determined as a frame to be used for the target frame buffer pattern in step S12, in step S13, the current frame is changed from the frame immediately before the current frame in the order on the recording medium. A B picture existing until the next frame is searched (see FIG. 13D). The searched B picture frame is determined as the frame of the current GOP used in the target frame buffer pattern (see FIG. 14D).

すなわち、上述したステップS11およびステップS12で、カレントフレームの1つ前のフレームからカレントフレームの1つ後のフレームまでの間に存在するBピクチャをデコードするために用いられるIおよび/またはPピクチャによるフレームが、目標フレームバッファパターンに用いられるフレームとして確定されている。ステップS13では、これら確定された、Iおよび/またはPピクチャによるフレームを用いてデコードされるBピクチャによるフレームが、目標フレームバッファパターンに用いるフレームとして確定される。   That is, depending on the I and / or P pictures used to decode the B picture existing between the previous frame of the current frame and the next frame of the current frame in steps S11 and S12 described above. A frame is determined as a frame used for the target frame buffer pattern. In step S13, the determined frame based on the B picture decoded using the frame based on the I and / or P picture is determined as a frame to be used for the target frame buffer pattern.

ステップS13までの処理で、カレントGOPの、目標フレームバッファパターンに用いるフレームが全て確定されると、ステップS14で、カレントGOPの1つ前のGOP内の先頭Iピクチャ(I-1)が検索される(図13E参照)。例えば、カレントGOPの先頭のIピクチャ(I0)を起点として、記録媒体上の順序で逆方向に向けてIピクチャが検索され、検索されたIピクチャ(I-1)に基づき、記録媒体上の順序で順方向に、Pピクチャが検索される(図13F参照)。そして、検索されたカレントGOPの1つ前のGOPのIおよび/またはPピクチャによるフレームが、目標フレームバッファパターンに用いるフレームとして確定される(図14F参照)。 When all the frames used for the target frame buffer pattern of the current GOP are determined by the processing up to step S13, the first I picture (I −1 ) in the GOP immediately before the current GOP is searched in step S14. (See FIG. 13E). For example, starting from the first I picture (I 0 ) of the current GOP, the I picture is searched in the reverse direction in the order on the recording medium, and on the recording medium based on the searched I picture (I −1 ). The P picture is searched in the forward direction in the order (see FIG. 13F). Then, the frame based on the I and / or P picture of the GOP immediately preceding the searched current GOP is determined as the frame used for the target frame buffer pattern (see FIG. 14F).

上述のステップS14からステップS15までの処理は、バッファメモリが埋められるまで繰り返される(ステップS16)。   The processes from step S14 to step S15 described above are repeated until the buffer memory is filled (step S16).

なお、記録媒体上に記録されたピクチャの位置やタイプ(Iピクチャ、PピクチャおよびBピクチャ)は、図9を用いて説明したピクチャポインタファイルを参照することで知ることができる。例えばシステムやより上位のシステムから、あるフレームの再生が指示されると、CPU14は、再生を指示されたフレームを目標再生フレームとし、当該目標再生フレームが属するGOPをカレントGOPとしてピクチャポインタファイルを検索し、カレントGOPのIピクチャの位置を取得する。ピクチャポインタファイルには、上述のように、ピクチャタイプ、そのピクチャがGOPの先頭のピクチャであるか否かを示すフラグ、ピクチャのサイズ情報、先頭アドレスが記述されているので、これらの情報に基づき記録媒体上の所望のピクチャを検索することが可能となっている。   The position and type (I picture, P picture, and B picture) of a picture recorded on the recording medium can be known by referring to the picture pointer file described with reference to FIG. For example, when playback of a certain frame is instructed from the system or a higher system, the CPU 14 searches the picture pointer file using the frame instructed to be played as the target playback frame and the GOP to which the target playback frame belongs as the current GOP. The position of the I picture of the current GOP is acquired. As described above, the picture pointer file describes the picture type, the flag indicating whether or not the picture is the first picture of the GOP, the size information of the picture, and the start address. It is possible to search for a desired picture on the recording medium.

目標再生フレームに基づき目標フレームバッファパターンが確定し、確定された目標フレームバッファパターンに従いフレームバッファがデコードされたフレームで埋められると、図11を用いて説明したような動作により、再生指示に対して所定の固定遅延で、順方向および逆方向の1倍速以内の再生が行われる。   When the target frame buffer pattern is determined based on the target playback frame and the frame buffer is filled with the decoded frame in accordance with the determined target frame buffer pattern, the operation described with reference to FIG. Playback is performed within a single speed in the forward and reverse directions with a predetermined fixed delay.

なお、ここでは、目標再生フレームがBピクチャであるものとして説明したが、上述の図12のフローチャートで説明した処理は、カレントフレームがIピクチャおよびPピクチャの場合にも同様にして適用できる。   Although the description has been given here assuming that the target playback frame is a B picture, the processing described with reference to the flowchart of FIG. 12 can also be applied to the case where the current frame is an I picture and a P picture.

また、システムやより上位のシステムから再生を指示されたフレームを目標再生フレームとして、上述の図12のフローチャートに従い、当該目標再生フレームに対応した目標フレームバッファパターンを作成する。この処理を、例えば目標再生フレームが指示される毎に行う。最初の目標再生フレームの指示に基づき、GOP内の全てのフレームについて作成してもよい。作成された目標フレームバッファパターンは、例えばRAM36に記憶される。   Further, a target frame buffer pattern corresponding to the target playback frame is created according to the flowchart of FIG. 12 described above, with a frame for which playback has been instructed by the system or a higher system as a target playback frame. This process is performed each time a target playback frame is instructed, for example. Based on the instruction of the first target playback frame, it may be created for all frames in the GOP. The created target frame buffer pattern is stored in the RAM 36, for example.

これに限らず、再生するクリップのGOPの構成が予め分かっていれば、上述の図12のフローチャートに示される処理を、GOPを構成する各ピクチャに対して行って、上述した図11のようなフレームバッファの更新パターンを予め作成しておくことも可能である。また、再生装置1において適用可能なGOPの構成が決められていれば、予め更新パターンを作成し、ROM35に記憶させておくことも可能である。   Not limited to this, if the GOP configuration of a clip to be played back is known in advance, the processing shown in the flowchart of FIG. 12 is performed on each picture constituting the GOP, as shown in FIG. It is also possible to create a frame buffer update pattern in advance. If the GOP configuration applicable to the playback apparatus 1 is determined, an update pattern can be created in advance and stored in the ROM 35.

CPU14は、操作部15に対する、順方向への1倍速以内または逆方向への1倍速以内の再生指示に応じて、出力フレームに対応する更新パターンを参照し、フレームタイミング毎に光ディスク10から読み出すピクチャを指示し、フレームバッファの更新を行う。   The CPU 14 refers to the update pattern corresponding to the output frame in response to a reproduction instruction within the normal speed within the forward direction or within the normal speed within the reverse direction with respect to the operation unit 15, and the picture read from the optical disk 10 at each frame timing To update the frame buffer.

次に、フレームバッファの更新パターンに基づく再生制御動作について説明する。再生制御は、フレームタイミングで同期を取られて、フレーム毎に順次、行われる。図15は、この発明の実施の一形態による同期制御を概略的に示す。この図15の例では、3フレームを周期として、1フレーム分のビデオデータのデコードが行われると共に、このデコードに同期して、フレームバッファ上の1フレーム分のビデオデータが出力される。   Next, the reproduction control operation based on the frame buffer update pattern will be described. The reproduction control is synchronized at the frame timing and is sequentially performed for each frame. FIG. 15 schematically shows synchronization control according to an embodiment of the present invention. In the example of FIG. 15, video data for one frame is decoded with a period of three frames, and video data for one frame on the frame buffer is output in synchronization with this decoding.

先ず、第1フレーム目では、現在フレームバッファに格納されているフレームの情報であって、CPU14により取得されるフレームバッファ情報と、ディスクドライブ11におけるリード情報と、目標速度情報とから、目標再生フレームが確定される(ステップS20)。リード情報は、光ディスク10から既に読み出され、ディスクドライブ11のキャッシュメモリ12に溜め込まれているピクチャの情報である。また、目標速度情報は、操作部15に対する操作や、より上位のアプリケーションなどからのコマンドにより、CPU14に対して供給される、再生速度および方向を示す情報である。   First, in the first frame, the frame information currently stored in the frame buffer is obtained from the frame buffer information acquired by the CPU 14, the read information in the disk drive 11, and the target speed information. Is determined (step S20). The read information is information on pictures that have already been read from the optical disk 10 and stored in the cache memory 12 of the disk drive 11. The target speed information is information indicating the playback speed and direction supplied to the CPU 14 by an operation on the operation unit 15 or a command from a higher-order application.

目標再生フレームが確定されると、デコーダ22に転送するピクチャが確定される(ステップS21)。すなわち、図11を用いて説明したフレームバッファの更新パターンに基づき、目標再生フレームの確定に伴いデコードすべきピクチャが確定される。   When the target playback frame is determined, the picture to be transferred to the decoder 22 is determined (step S21). That is, based on the frame buffer update pattern described with reference to FIG. 11, the picture to be decoded is determined as the target playback frame is determined.

例えば、図11の第4行目の例でいうと、再生方向が順方向であれば、現在の目標再生フレーム「P6」に対して、新たな目標再生フレームは、フレーム「B7」またはフレーム「P6」の何れかに確定される。新たな目標再生フレームがフレーム「B7」およびフレーム「P6」の何方に確定されるかは、目標速度情報や、指示のタイミングなどに基づき一意的に決められる。ここでは、新たな目標再生フレームがフレーム「B7」に確定されたものとして説明する。   For example, in the example of the fourth row in FIG. 11, if the playback direction is the forward direction, the new target playback frame for the current target playback frame “P6” is the frame “B7” or the frame “ P6 "is determined. Which of the frame “B7” and the frame “P6” is determined as the new target playback frame is uniquely determined based on the target speed information, the timing of the instruction, and the like. Here, a description will be given on the assumption that a new target playback frame is determined to be frame “B7”.

さらに、第4行目のフレームバッファ情報と、新たな目標再生フレームが目標再生フレームとされているフレームバッファ情報とが比較され、新たにデコードされる必要があるフレームと、不要となるフレームとが抽出される。新たな目標再生フレームがフレーム「B7」であるこの例では、第4行目のフレームバッファ情報と次の第5行目のフレームバッファ情報とが比較され、フレーム「B5」が不要となると共に、フレーム「B8」がデコードされている必要があることが分かる。   Further, the frame buffer information in the fourth row is compared with the frame buffer information in which the new target playback frame is the target playback frame, and a frame that needs to be newly decoded and a frame that becomes unnecessary are determined. Extracted. In this example where the new target playback frame is frame “B7”, the frame buffer information in the fourth row is compared with the frame buffer information in the next fifth row, and the frame “B5” becomes unnecessary, It can be seen that frame “B8” needs to be decoded.

ステップS21で転送するピクチャが確定されると、次の第2フレーム目のタイミングで、当該ピクチャがデコーダ22に対して転送される(ステップS22)。例えば、CPU14は、ディスクドライブ11に対して、転送が確定されたピクチャを光ディスク10から読み出すように要求する。この要求に応じて、ディスクドライブ11により、光ディスク10からピクチャ(上述の例では、フレーム「B8」に対応するピクチャ)が読み出される。読み出されたピクチャがデコーダ22に転送されると共に、読み出されたピクチャをデコードするために必要な他のフレームがある場合は、フレームバッファから当該他のフレームが読み出され、デコーダ22に転送される。   When the picture to be transferred is determined in step S21, the picture is transferred to the decoder 22 at the timing of the next second frame (step S22). For example, the CPU 14 requests the disk drive 11 to read from the optical disk 10 a picture whose transfer has been confirmed. In response to this request, the disk drive 11 reads a picture (in the above example, a picture corresponding to the frame “B8”) from the optical disk 10. The read picture is transferred to the decoder 22, and when there is another frame necessary for decoding the read picture, the other frame is read from the frame buffer and transferred to the decoder 22. Is done.

フレーム「B8」をデコードするこの例では、フレーム「B8」に対応するピクチャと、フレーム「B8」をデコードするための他のフレーム「P6」および「P9」とがデコーダ22に転送される。   In this example of decoding the frame “B8”, the picture corresponding to the frame “B8” and the other frames “P6” and “P9” for decoding the frame “B8” are transferred to the decoder 22.

なお、実際には、転送が確定されたピクチャの転送は、上述したように、ディスクドライブ11が有するキャッシュメモリ12に対してアクセスされてなされ、キャッシュメモリ12からデコーダ22に対して、DMA(Direct Memory Access)転送によりCPU14を介さないで行われる。   Actually, the transfer of the picture whose transfer has been confirmed is performed by accessing the cache memory 12 of the disk drive 11 as described above, and the DMA (Direct Memory Access) transfer is performed without going through the CPU 14.

ディスクドライブ11からデコーダ22へのピクチャの転送は、次の第2フレーム目のタイミングに同期して行われる(ステップS22)。また、ステップS21での転送ピクチャの確定に伴い、当該ピクチャに対するデコード情報が確定される(ステップS23)。例えば、確定された転送ピクチャのヘッダ情報から取り出されたデコードに必要なパラメータや、デコードに必要な他のフレームの情報がデコード情報として確定される。これら確定されたデコード情報は、デコーダ22に渡される。   Transfer of pictures from the disk drive 11 to the decoder 22 is performed in synchronization with the timing of the next second frame (step S22). Further, with the determination of the transfer picture in step S21, the decoding information for the picture is determined (step S23). For example, parameters necessary for decoding extracted from the header information of the determined transfer picture and information on other frames necessary for decoding are determined as decoding information. The determined decoding information is passed to the decoder 22.

デコーダ22は、ステップS23で転送されたデコード情報に基づき、ステップS22で転送されたピクチャのデコードを、次の第3フレーム目のタイミングに同期して開始する(ステップS24)。デコードされたピクチャ(フレーム)は、フレームバッファの所定のバンクに書き込まれ、フレームバッファが更新される。上述の図11の第4行目の例では、バッファメモリ上のフレーム「B5」が書き込まれているバンクに対して、デコードされたフレーム「B8」のデータが上書きされる(図11の第5行目参照)。   Based on the decoding information transferred in step S23, the decoder 22 starts decoding the picture transferred in step S22 in synchronization with the timing of the next third frame (step S24). The decoded picture (frame) is written to a predetermined bank of the frame buffer, and the frame buffer is updated. In the example of the fourth row in FIG. 11 described above, the decoded data of the frame “B8” is overwritten on the bank in which the frame “B5” is written on the buffer memory (the fifth row in FIG. 11). See line).

一方、上述したステップS20で目標再生フレームが確定されると、出力するビデオデータの情報が確定される(ステップS25)。上述の図11の第4行目の例では、出力ビデオデータとしてフレーム「P6」が確定される。この確定された出力ビデオデータの情報が出力データ制御部23に渡される。出力データ制御部23では、渡された情報に基づき、第3フレーム目の開始タイミングまでに、ビデオ出力の設定を行う(ステップS26)。そして、この設定に基づき、第3フレーム目に同期して、フレーム「P6」が出力される(ステップS27)。   On the other hand, when the target playback frame is determined in step S20 described above, information of the video data to be output is determined (step S25). In the example of the fourth row in FIG. 11 described above, the frame “P6” is determined as the output video data. Information on the determined output video data is passed to the output data control unit 23. Based on the received information, the output data control unit 23 sets video output by the start timing of the third frame (step S26). Based on this setting, the frame “P6” is output in synchronization with the third frame (step S27).

なお、1倍速以下の順方向の再生は、例えば、上述したステップS20において、上位のアプリケーションからなど供給された再生速度情報に応じて、目標再生フレームを次のフレームに進めるか否かを制御することで可能である。一例として、順方向に1/2倍速で再生を行う場合には、出力するフレームを2フレームタイミング毎に1フレームだけ更新すればよい。これは、例えば、2フレームに1回の割合で、目標再生フレームを更新することで可能である。目標再生フレームが更新されなければ、直前の処理と同一のフレームバッファのパターンに基づき処理が行われることになるため、直前のフレームタイミングと同一のフレームが出力されることになる。このとき、ディスクドライブ1による光ディスク10に対するアクセス動作や、デコーダ22のデコード動作なども停止するようにすると、好ましい。   In the forward playback at a speed less than 1 × speed, for example, in step S20 described above, whether or not the target playback frame is advanced to the next frame is controlled according to playback speed information supplied from a higher-level application or the like. Is possible. As an example, when reproduction is performed in the forward direction at a half speed, it is only necessary to update the output frame by one frame every two frame timings. This is possible, for example, by updating the target playback frame at a rate of once every two frames. If the target playback frame is not updated, the processing is performed based on the same frame buffer pattern as the previous processing, and thus the same frame as the previous frame timing is output. At this time, it is preferable that the access operation to the optical disk 10 by the disk drive 1 and the decoding operation of the decoder 22 are stopped.

上述では、再生方向が順方向の場合の処理について説明したが、再生方法が逆方向の場合にも、同様の処理が行われる。第1フレーム目で、フレームバッファ情報と、リード情報と、目標速度情報とから、目標再生フレームが確定される(ステップS20)。目標再生フレームが確定されると、デコーダ22に転送するピクチャが確定される(ステップS21)。図11の第4行目の例でいうと、再生方向が逆方向なので、目標再生フレームがフレーム「B5」またはフレーム「P6」の何れかに確定される。ここでは、目標再生フレームがフレーム「B5」に確定されるものとする。さらに、第4行目のフレームバッファ情報と、目標再生フレームが出力フレームとされている第3行目のフレームバッファ情報とが比較され、フレーム「B7」が不要になると共に、フレーム「B4」がデコードされている必要があることが分かる。   In the above description, the process when the playback direction is the forward direction has been described, but the same process is performed when the playback method is the reverse direction. In the first frame, a target playback frame is determined from the frame buffer information, read information, and target speed information (step S20). When the target playback frame is determined, the picture to be transferred to the decoder 22 is determined (step S21). In the example of the fourth row in FIG. 11, since the reproduction direction is the reverse direction, the target reproduction frame is determined to be either the frame “B5” or the frame “P6”. Here, it is assumed that the target reproduction frame is determined to be the frame “B5”. Further, the frame buffer information in the fourth row is compared with the frame buffer information in the third row in which the target playback frame is the output frame, so that the frame “B7” becomes unnecessary and the frame “B4” You can see that it needs to be decoded.

ステップS21で転送するピクチャが確定されると、次の第2フレーム目のタイミングに同期して、当該ピクチャがデコーダ22に対して転送される(ステップS22)。このとき、当該ピクチャをデコードするために必要な他のピクチャがある場合には、当該他のピクチャもフレームバッファから読み出されてデコーダ22に転送される。フレーム「B4」をデコードするこの例では、フレーム「B4」をデコードするために用いられる、フレーム「I3」および「P6」も、デコーダ22に転送される。フレーム「I3」および「P6」は、図11の第4行目に示されるように、フレームバッファ上に既に存在する。   When the picture to be transferred is determined in step S21, the picture is transferred to the decoder 22 in synchronization with the timing of the next second frame (step S22). At this time, if there is another picture necessary for decoding the picture, the other picture is also read from the frame buffer and transferred to the decoder 22. In this example of decoding frame “B4”, frames “I3” and “P6” used to decode frame “B4” are also forwarded to decoder 22. Frames “I3” and “P6” already exist on the frame buffer, as shown in the fourth row of FIG.

ステップS21での転送ピクチャの確定に伴い、当該ピクチャに対するデコード情報が確定される(ステップS23)。確定されたデコード情報は、デコーダ22に渡される。デコーダ22は、ステップS23で転送されたデコード情報に基づき、ステップS22で転送されたピクチャのデコードを、次の第3フレーム目のタイミングに同期して開始する(ステップS24)。デコードされたピクチャ(フレーム)は、フレームバッファの所定のバンクに書き込まれ、フレームバッファが更新される。上述の図11の第4行目の例では、バッファメモリ上のフレーム「B7」が書き込まれているバンクに対して、デコードされたフレーム「B4」のデータが上書きされる(図11の第3行目参照)。   As the transfer picture is determined in step S21, decoding information for the picture is determined (step S23). The determined decoding information is passed to the decoder 22. Based on the decoding information transferred in step S23, the decoder 22 starts decoding the picture transferred in step S22 in synchronization with the timing of the next third frame (step S24). The decoded picture (frame) is written to a predetermined bank of the frame buffer, and the frame buffer is updated. In the example of the fourth row in FIG. 11 described above, the data of the decoded frame “B4” is overwritten on the bank in which the frame “B7” in the buffer memory is written (the third row in FIG. 11). See line).

一方、上述したステップS20で目標再生フレームが確定されると、出力するビデオデータの情報が確定される(ステップS25)。上述の図11の第4行目の例では、出力ビデオデータとしてフレーム「P6」が確定される。この確定された出力ビデオデータの情報が出力データ制御部23に渡される。出力データ制御部23では、渡された情報に基づき、第3フレーム目の開始タイミングまでに、ビデオ出力の設定を行う(ステップS26)。そして、この設定に基づき、第3フレーム目に同期して、フレーム「P6」が出力される(ステップS27)   On the other hand, when the target playback frame is determined in step S20 described above, information of the video data to be output is determined (step S25). In the example of the fourth row in FIG. 11 described above, the frame “P6” is determined as the output video data. Information on the determined output video data is passed to the output data control unit 23. Based on the received information, the output data control unit 23 sets video output by the start timing of the third frame (step S26). Based on this setting, the frame “P6” is output in synchronization with the third frame (step S27).

なお、再生方向が順方向および逆方向の何れの場合においても、上述のステップS20〜ステップS27で説明した処理は、フレームタイミング毎に順次、実行される。すなわち、第1フレーム目に同期して上述のステップS20の処理による目標再生フレームが確定される。確定された目標再生フレームを新たな出力フレームとして、この新たな出力フレームに対応する新たな目標再生フレームの確定処理が次の第2フレーム目に同期して開始される。   Note that, regardless of whether the reproduction direction is the forward direction or the reverse direction, the processing described in step S20 to step S27 described above is sequentially performed for each frame timing. That is, in synchronization with the first frame, the target playback frame is determined by the process in step S20 described above. With the determined target playback frame as a new output frame, a new target playback frame determination process corresponding to the new output frame is started in synchronization with the next second frame.

この新たな目標再生フレームの、ディスクドライブ11からデコーダ22への転送処理は、次の第3フレーム目に同期して行われるため、1つ前の処理と干渉することがない。同様に、デコーダ22によるデコード処理も、図示されない第4フレーム目に同期して行われることになるため、1つ前の処理と干渉することがない。   Since the transfer process of the new target playback frame from the disk drive 11 to the decoder 22 is performed in synchronization with the next third frame, it does not interfere with the previous process. Similarly, since the decoding process by the decoder 22 is performed in synchronization with the fourth frame (not shown), there is no interference with the previous process.

このように、この発明によれば、順方向の1倍速再生から逆方向の1倍速再生にわたる可変速再生において、与えられた再生速度および再生方向指示コマンドに対して固定的な遅延で、コマ落ちのない再生出力を、1倍速デコーダを用いて実現することができる。   As described above, according to the present invention, in variable speed playback ranging from forward 1 × speed playback to reverse 1 × speed playback, frame dropping is performed with a fixed delay with respect to a given playback speed and playback direction instruction command. The reproduction output without the above can be realized by using a 1 × speed decoder.

なお、上述の図15のシーケンスにおいて、ステップS20で目標再生フレームが確定してから、その目標再生フレームが目標再生フレームの確定から固定遅延で以てステップS27でビデオ出力されるまでの間は、ステップS22のデータ転送処理およびステップS24のデコード処理がそれぞれ平均して1ピクチャ/フレーム時間に収まる必要がある。換言すれば、ステップS22のデータ転送処理およびステップS24のデコード処理は、それぞれ平均して1ピクチャ/フレーム時間に収まっていれば、それぞれの処理時間を1フレーム時間に固定的とする必要は、無い。   In the sequence of FIG. 15 described above, after the target playback frame is determined in step S20, until the target playback frame is video output in step S27 with a fixed delay after the target playback frame is determined, It is necessary that the data transfer process in step S22 and the decoding process in step S24 each average within one picture / frame time. In other words, if the data transfer process in step S22 and the decoding process in step S24 are within one picture / frame time on average, there is no need to fix each processing time to one frame time. .

ピクチャのデコードに1倍速デコーダを用い、順方向および逆方向に1倍速以内の再生を、上述したような目標フレームバッファパターンに基づく制御で以て固定遅延で行う場合、上述のように、目標再生フレームが移行する毎に、1フレームのデコードが行われ、それに伴いバッファメモリ上の1フレームが破棄される。そのため、ステップS22のデータ転送処理およびステップS24のデコード処理は、それぞれ1ピクチャ/フレーム時間の処理に収束するように推移し、全体として、図15に示されるような3フレーム周期に収束する。   When a 1x speed decoder is used to decode a picture and playback within 1x speed in the forward and reverse directions is performed with a fixed delay by the control based on the target frame buffer pattern as described above, the target playback is performed as described above. Each time a frame shifts, one frame is decoded, and one frame on the buffer memory is discarded accordingly. For this reason, the data transfer process in step S22 and the decoding process in step S24 each shift so as to converge to a process of 1 picture / frame time, and as a whole, converge to a 3-frame cycle as shown in FIG.

このように、この発明によれば、順方向の1倍速再生から逆方向の1倍速再生にわたる可変速再生において、与えられた再生速度および再生方向指示コマンドに対して固定的な遅延で、コマ落ちのない再生出力を、1倍速デコーダを用いて実現することができる。   As described above, according to the present invention, in variable speed playback ranging from forward 1 × speed playback to reverse 1 × speed playback, frame dropping is performed with a fixed delay with respect to a given playback speed and playback direction instruction command. The reproduction output without the above can be realized by using a 1 × speed decoder.

上述では、この発明が記録媒体として光ディスクを用い、年輪構造でクリップが記録されている場合に適用されるように説明したが、これはこの例に限定されない。例えば、記録媒体上の記録フォーマットは、年輪構造に限られず、他のフォーマットであってもよい。また、記録媒体は、光ディスクに限られず、ハードディスクドライブや、半導体メモリであってもよい。さらに、この発明が記録媒体から再生されたデータに対して適用されるように説明したが、これはこの例に限定されず、安定的にストリームが供給可能な状況であれば、外部から供給されたストリームデータをデコードするようなデコーダ装置にもこの発明を適用することができる。   In the above description, the present invention is applied to the case where an optical disk is used as a recording medium and a clip is recorded with an annual ring structure, but this is not limited to this example. For example, the recording format on the recording medium is not limited to the annual ring structure, and may be another format. Further, the recording medium is not limited to an optical disk, and may be a hard disk drive or a semiconductor memory. Further, the present invention has been described as being applied to data reproduced from a recording medium. However, this is not limited to this example, and the stream can be supplied from the outside if the stream can be stably supplied. The present invention can also be applied to a decoder device that decodes the stream data.

また、上述では、再生装置1が光ディスク10に記録されたビデオデータを再生する専用的なハードウェアであるように説明したが、これはこの例に限らず、例えばパーソナルコンピュータといった汎用的なコンピュータ装置(図示しない)を、再生装置1として用いることもできる。この場合、コンピュータ装置に搭載されるプログラムによって、再生装置1の機能を実現させることができる。またこの場合、ビデオデータのデコード処理は、ソフトウェア処理によりCPUで行ってもよいし、専用的なハードウェアをコンピュータ装置に搭載することもできる。   In the above description, the playback device 1 is described as dedicated hardware for playing back video data recorded on the optical disc 10, but this is not limited to this example, and a general-purpose computer device such as a personal computer is used. (Not shown) can also be used as the playback apparatus 1. In this case, the function of the playback device 1 can be realized by a program installed in the computer device. In this case, the video data decoding process may be performed by the CPU by software processing, or dedicated hardware may be installed in the computer apparatus.

この発明による再生制御処理を概念的に示す略線図である。It is a basic diagram which shows notionally the reproduction | regeneration control processing by this invention. この発明の実施の一形態に適用可能な再生装置の一例の構成を概略的に示すブロック図である。It is a block diagram which shows roughly the structure of an example of the reproducing | regenerating apparatus applicable to one Embodiment of this invention. デコーダの一例の構成を概略的に示すブロック図である。It is a block diagram which shows roughly the structure of an example of a decoder. デコーダの一例の構成をより具体的に示すブロック図である。It is a block diagram which shows more specifically the structure of an example of a decoder. ディスク状記録媒体における一例のデータ配置を示す略線図である。It is a basic diagram which shows an example data arrangement | positioning in a disk-shaped recording medium. クリップについて説明するための略線図である。It is a basic diagram for demonstrating a clip. 光ディスクに対して年輪データが形成された一例の様子を示す略線図である。It is a basic diagram which shows the mode of an example in which annual ring data was formed with respect to the optical disk. MPEG2のロングGOPにおける一例のデータ構造を示す略線図である。It is a basic diagram which shows the data structure of an example in the long GOP of MPEG2. ピクチャポインタ情報が記述されるピクチャポインタテーブルのより具体的な例を示す略線図である。It is a basic diagram which shows the more specific example of the picture pointer table in which picture pointer information is described. カレントフレームに対して表示順で1フレーム後または1フレーム前のフレームをデコードする場合の必要バッファ量の例を示す略線図である。It is a basic diagram which shows the example of the required buffer amount in the case of decoding the flame | frame after 1 frame in the display order with respect to the current frame, or 1 frame before. この発明の実施の一形態による目標フレームバッファの一例の更新パターンを示す略線図である。It is a basic diagram which shows the update pattern of an example of the target frame buffer by one Embodiment of this invention. 目標フレームバッファのパターンの一例の作成方法を示すフローチャートである。It is a flowchart which shows the creation method of an example of the pattern of a target frame buffer. 目標フレームバッファのパターンの一例の作成方法を説明するための略線図である。It is a basic diagram for demonstrating the production method of an example of the pattern of a target frame buffer. 目標フレームバッファのパターンの一例の作成方法を説明するための略線図である。It is a basic diagram for demonstrating the production method of an example of the pattern of a target frame buffer. この発明の実施の一形態による同期制御を概略的に示す略線図である。It is a basic diagram which shows roughly the synchronous control by one Embodiment of this invention. ロングGOPの場合のデコード処理について説明するための略線図である。It is a basic diagram for demonstrating the decoding process in the case of long GOP.

符号の説明Explanation of symbols

1 再生装置
10 光ディスク
11 ディスクドライブ
12 キャッシュメモリ
13 デコーダ
13A フレームメモリ(フレームバッファ)
14 CPU
22 MPEGデコーダ
23 出力データ制御部
33 予測復元部
35 ROM
36 RAM
DESCRIPTION OF SYMBOLS 1 Playback apparatus 10 Optical disk 11 Disk drive 12 Cache memory 13 Decoder 13A Frame memory (frame buffer)
14 CPU
22 MPEG decoder 23 Output data control unit 33 Prediction restoration unit 35 ROM
36 RAM

Claims (7)

予測符号化によるフレーム間圧縮を用いて圧縮符号化されランダムアクセス可能な記録媒体に記録されたビデオデータを、逆方向の1倍速再生から順方向の1倍速再生まで可変速に再生するようにした再生装置であって、
少なくとも、現在の目標再生フレームと、上記現在の目標フレームに対して表示順で前後に隣接するそれぞれのフレームとを格納するフレームバッファと、
上記それぞれのフレームのいずれかが新たな目標再生フレームとされたときに、該新たな目標再生フレームに対する上記フレームバッファの目標パターンを作成する目標パターン作成部と、
記現在の目標再生フレームが格納されたフレームバッファの状態と上記目標パターンとを比較する比較部と、
上記比較部による比較結果に基づき、新たにデコードが必要な1フレームを抽出すると共に上記現在のフレームバッファの状態で不要になる1フレームを抽出するフレームバッファ制御部とを有する再生装置。
Video data that is compression-encoded using inter-frame compression by predictive encoding and recorded on a randomly accessible recording medium is played back at variable speeds from 1x playback in the reverse direction to 1x playback in the forward direction. a playback equipment,
At least, the current target playback frame, a frame buffer that stores the respective frame adjacent back and forth in the display order with respect to the current target frame,
When said one of each frame is a new target playback frame, and a target pattern creation section that creates a target pattern of the frame buffer to said new targets playback frame,
A comparison unit for comparing the above SL framebuffer the current target playback frame is stored state and the target pattern,
Re that having a frame buffer control unit on the basis of the comparison result by the comparison unit, and extracts a frame unnecessarily ing the state of the current frame buffer extracts the new 1 frame require decoding Raw equipment.
上記新たにデコードが必要な1フレームは、上記新たな目標再生フレームに対して表示順で前後に隣接するいずれかのフレームとされ、The one frame that needs to be newly decoded is any frame that is adjacent to the new target playback frame in the order of display,
上記フレームバッファ制御部は、該フレームが上記フレームバッファに既に格納されている場合は、上記フレームバッファに格納されているフレームの内、表示順で最も新しい1フレームまたは表示順で最も古い1フレームを、上記不要になる1フレームとする請求項1に記載の再生装置。When the frame is already stored in the frame buffer, the frame buffer control unit selects one frame stored in the frame buffer, which is the newest frame in the display order or the oldest frame in the display order. The playback apparatus according to claim 1, wherein one frame is unnecessary.
上記フレームバッファ制御部は、所定のルールにより上記不要になる1フレームを決定し、The frame buffer control unit determines one unnecessary frame according to a predetermined rule,
上記所定のルールは、上記新たな目標再生フレームに対して表示順で前後に隣接せず、時間的に前および/または後の他のフレームを基準としてデコードされる1フレームを上記不要になる1フレームとして決定する請求項1に記載の再生装置。According to the predetermined rule, one frame that is not adjacent to the new target playback frame in the order of display in the display order and is decoded on the basis of other frames before and / or after in time becomes unnecessary. The playback device according to claim 1, wherein the playback device is determined as a frame.
記フレームバッファ制御部により抽出された上記新たにデコードが必要なフレームの入力を開始し、該入力が開始されたフレームをデコードして上記フレームバッファ上の上記不要になるフレームの領域に対して格納するように制御するデコード制御部をさらに有する請求項1乃至3のいずれか1項に記載の再生装置。 Start the input of the new decoded necessary frame extracted by the upper Symbol frame buffer control unit, decodes the frame input is started to a region of the frame becomes unnecessary above on the frame buffer The playback apparatus according to claim 1, further comprising a decoding control unit that controls to store the data. 上記目標パターンは、
予め作成され記憶媒体に記憶されている請求項1乃至4のいずれか1項に記載の再生装置。
The above goal pattern is
Previously created playback apparatus according to any one of claims 1 to 4 that have been stored in the storage medium.
予測符号化によるフレーム間圧縮を用いて圧縮符号化されランダムアクセス可能な記録媒体に記録されたビデオデータを、逆方向の1倍速再生から順方向の1倍速再生まで可変速に再生するようにした再生方法であって、
少なくとも、現在の目標再生フレームと、上記現在の目標フレームに対して表示順で前後に隣接するそれぞれのフレームとがフレームバッファに格納され、
上記それぞれのフレームのいずれかが新たな目標再生フレームとされたときに、該新たな目標再生フレームに対する上記フレームバッファの目標パターンを作成する目標パターン作成ステップと、
記現在の目標再生フレームが格納されたフレームバッファの状態と上記目標パターンとを比較する比較ステップと、
上記比較ステップにおける比較結果に基づき、新たにデコードが必要な1フレームを抽出すると共に上記現在のフレームバッファの状態で不要になる1フレームを抽出するフレームバッファ制御ステップとを有する再生方法。
Video data that is compression-encoded using inter-frame compression by predictive encoding and recorded on a randomly accessible recording medium is played back at variable speeds from 1x playback in the reverse direction to 1x playback in the forward direction. A playback method ,
At least the current target playback frame and the frames adjacent to the current target frame in the display order are stored in the frame buffer.
When said one of each frame is a new target playback frame, a target pattern generating step of generating a target pattern of the frame buffer to said new targets playback frame,
Upper SL and the current state of the frame buffer where the target playback frame is stored a comparison step of comparing the target pattern,
Based on the comparison result of the comparing step, that newly having a frame buffer control step of extracting one frame unnecessarily ing the state of the current frame buffer with decoding to extract one frame required playback method.
予測符号化によるフレーム間圧縮を用いて圧縮符号化されランダムアクセス可能な記録媒体に記録されたビデオデータを、逆方向の1倍速再生から順方向の1倍速再生まで可変速に再生するようにした再生方法をコンピュータ装置に実行させるための再生プログラムであって、
少なくとも、現在の目標再生フレームと、上記現在の目標フレームに対して表示順で前後に隣接するそれぞれのフレームとがフレームバッファに格納され、
上記それぞれのフレームのいずれかが新たな目標再生フレームとされたときに、該新たな目標再生フレームに対する上記フレームバッファの目標パターンを作成する目標パターン作成ステップと、
記現在の目標再生フレームが格納されたフレームバッファの状態と上記目標パターンとを比較する比較ステップと、
上記比較ステップにおける比較結果に基づき、新たにデコードが必要な1フレームを抽出すると共に上記現在のフレームバッファの状態で不要になる1フレームを抽出するフレームバッファ制御ステップとを有する再生方法をコンピュータ装置に実行させるための再生プログラム。
Video data that is compression-encoded using inter-frame compression by predictive encoding and recorded on a randomly accessible recording medium is played back at variable speeds from 1x playback in the reverse direction to 1x playback in the forward direction. A playback program for causing a computer device to execute a playback method ,
At least the current target playback frame and the frames adjacent to the current target frame in the display order are stored in the frame buffer.
When said one of each frame is a new target playback frame, a target pattern generating step of generating a target pattern of the frame buffer to said new targets playback frame,
Upper SL and the current state of the frame buffer where the target playback frame is stored a comparison step of comparing the target pattern,
Reproducing method and a frame buffer control step on the basis of the comparison result of the comparing step, to extract one frame unnecessarily ing the state of the current frame buffer extracts the new 1 frame require decoding reproduction program for causing a computer to execute the device.
JP2005260742A 2005-09-08 2005-09-08 Playback apparatus, playback method, and playback program Expired - Fee Related JP4682759B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005260742A JP4682759B2 (en) 2005-09-08 2005-09-08 Playback apparatus, playback method, and playback program
US11/516,201 US7881583B2 (en) 2005-09-08 2006-09-06 Playback apparatus, playback method, and playback program
EP20060254654 EP1763239A3 (en) 2005-09-08 2006-09-07 Playback apparatus and method
CNB2006100641398A CN100556117C (en) 2005-09-08 2006-09-08 Reproducing device, playback method and playback programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005260742A JP4682759B2 (en) 2005-09-08 2005-09-08 Playback apparatus, playback method, and playback program

Publications (2)

Publication Number Publication Date
JP2007073151A JP2007073151A (en) 2007-03-22
JP4682759B2 true JP4682759B2 (en) 2011-05-11

Family

ID=37499981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005260742A Expired - Fee Related JP4682759B2 (en) 2005-09-08 2005-09-08 Playback apparatus, playback method, and playback program

Country Status (4)

Country Link
US (1) US7881583B2 (en)
EP (1) EP1763239A3 (en)
JP (1) JP4682759B2 (en)
CN (1) CN100556117C (en)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7515710B2 (en) 2006-03-14 2009-04-07 Divx, Inc. Federated digital rights management scheme including trusted systems
JP5159143B2 (en) * 2007-04-04 2013-03-06 アルパイン株式会社 Video system
KR20080090934A (en) * 2007-04-06 2008-10-09 삼성전자주식회사 Constant speed regeneration method and apparatus
JP4869147B2 (en) * 2007-05-10 2012-02-08 キヤノン株式会社 Image recording / playback device
JP5282383B2 (en) * 2007-09-06 2013-09-04 ソニー株式会社 Content reproduction apparatus, content reproduction method, program, and content reproduction system
EP2384475A4 (en) 2009-01-07 2014-01-22 Sonic Ip Inc Singular, collective and automated creation of a media guide for online content
CN101924847B (en) * 2009-06-16 2012-06-13 宏碁股份有限公司 Multimedia playing device and playing method thereof
WO2011068668A1 (en) 2009-12-04 2011-06-09 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US9197685B2 (en) * 2012-06-28 2015-11-24 Sonic Ip, Inc. Systems and methods for fast video startup using trick play streams
WO2014015110A1 (en) 2012-07-18 2014-01-23 Verimatrix, Inc. Systems and methods for rapid content switching to provide a linear tv experience using streaming content distribution
US9804668B2 (en) 2012-07-18 2017-10-31 Verimatrix, Inc. Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9247317B2 (en) 2013-05-30 2016-01-26 Sonic Ip, Inc. Content streaming with client device trick play index
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10075292B2 (en) 2016-03-30 2018-09-11 Divx, Llc Systems and methods for quick start-up of playback
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming
CN112019878B (en) * 2019-05-31 2022-06-21 广州市百果园信息技术有限公司 Video decoding and editing method, device, equipment and storage medium
TWI713362B (en) * 2019-12-17 2020-12-11 瑞昱半導體股份有限公司 Multimedia content playback device and multimedia content playback method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198513A (en) * 1997-09-18 1999-04-09 Toshiba Corp Moving image coding/decoding device
JP2000101969A (en) * 1998-09-17 2000-04-07 Sony Corp Device and method of reproduction
JP2001145111A (en) * 1999-11-11 2001-05-25 Matsushita Electric Ind Co Ltd Device and method for decoding dynamic image

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2797404B2 (en) * 1989-04-20 1998-09-17 ソニー株式会社 Recording method of moving image data
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JPH11198513A (en) 1998-01-07 1999-07-27 Matsushita Electric Ind Co Ltd Offset printing method
JP2000041220A (en) 1998-07-23 2000-02-08 Sony Corp Device and method for transmitting image data, device and method for receiving image data and providing medium
US6707778B1 (en) 1999-11-10 2004-03-16 Thomson Licensing S.A. Edit to picture without decoding and re-encoding of MPEG bit stream for recordable DVD
US6778265B1 (en) 1999-11-10 2004-08-17 Thomson Licensing S.A. Copy feature for recordable DVD editing
US6856755B1 (en) 1999-11-10 2005-02-15 Thomson Licensing S.A. Method and apparatus for editing in a forward or reverse direction on a rewriteable disc media
EP1153511A1 (en) 1999-11-17 2001-11-14 Koninklijke Philips Electronics N.V. Reverse playback of a mpeg video stream
US8958688B2 (en) 2001-11-26 2015-02-17 Nvidia Corporation Method and system for DVD smooth rewind
JP3695423B2 (en) 2002-07-02 2005-09-14 ソニー株式会社 Playback device
JP3695425B2 (en) 2002-07-02 2005-09-14 ソニー株式会社 Playback device
JP3695424B2 (en) 2002-07-02 2005-09-14 ソニー株式会社 Playback device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198513A (en) * 1997-09-18 1999-04-09 Toshiba Corp Moving image coding/decoding device
JP2000101969A (en) * 1998-09-17 2000-04-07 Sony Corp Device and method of reproduction
JP2001145111A (en) * 1999-11-11 2001-05-25 Matsushita Electric Ind Co Ltd Device and method for decoding dynamic image

Also Published As

Publication number Publication date
CN100556117C (en) 2009-10-28
US7881583B2 (en) 2011-02-01
CN1992869A (en) 2007-07-04
US20070058928A1 (en) 2007-03-15
EP1763239A2 (en) 2007-03-14
EP1763239A3 (en) 2010-10-27
JP2007073151A (en) 2007-03-22

Similar Documents

Publication Publication Date Title
JP4682759B2 (en) Playback apparatus, playback method, and playback program
JP4631747B2 (en) Playback apparatus, playback method, and playback program
US8300702B2 (en) Data processing apparatus, data processing method, data processing program, data structure, recording medium, reproducing apparatus, reproducing method, and reproducing program
JP4838191B2 (en) File reproduction device, file reproduction method, program for executing file reproduction, and recording medium recording the program
JP4297122B2 (en) Playback apparatus and playback method
JP4297121B2 (en) Playback apparatus and playback method
JP4264833B2 (en) Recording apparatus and method, program, and recording medium
JP2001086462A (en) Moving image recording device and moving image reproducing device
JP4706530B2 (en) Playback apparatus, playback method, and playback program
US20050044501A1 (en) Data processing apparatus, data processing method, information storing medium, and computer program
JP2006324848A (en) Apparatus and method for information processing
JP2007180670A (en) Reproducing device, reproduction method, and reproduction program
JP3344607B2 (en) Optical disc, reproducing apparatus and reproducing method
JP2004350152A (en) Video reproducing apparatus and video reproducing method
JP2001103424A (en) Coded bit stream recording and/or reproducing device, and recording medium
JP4217545B2 (en) Data processing method
JPH11110916A (en) Video recording and reproducing device
JP2003046956A (en) Optical disk, reproducing device and reproducing method
JP2003046955A (en) Recording apparatus and method therefor
JP2003046953A (en) Reproducing apparatus and method
JP2000324447A (en) Disk-like recording medium, recording device and reproducing device
JP2003046954A (en) Recording apparatus and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees
OSZAR »