What's New

  • PhotoWalkerのウェブサイトをリニューアルしました。
    link

What is Photowalker?

歩き出す写真

PhotoWalkerは、東京大学・空間情報科学研究センターで開発された新しい画像技術 "STAMP"(Spatio-Temporal Association with Multiple Photographs)を使った、仮想ウォークスルー・コンテンツサイトの仮の名称です。「写真のなかを歩く」「写真そのものが歩き出す」といった感覚から、このように呼んでいます。実際の感覚は、World Mapのなかからお好みのものを選択したうえで試してみてください。

仮想現実の発展

近年、コンピュータ内にヴァーチャル・リアリティー(仮想現実）を構成する技術が普及していますが、そのなかに、写真だけを使って製作をするイメージ・ベースト・アプローチという手法があります。良く知られているものに、Apple社のQuickTime-VR (パノラマVR/オブジェクトVR)があります。この方式ですと、写真を切り替えながらの 奥へ向かっての移動（ズームイン/アウトとは別）など、自由な移動表現ができない制約がありました。STAMPは、曖昧な空間の接合を許すという条件でこの問題を解決し、あらゆる移動表現を可能とする新しい技術です。 この技術は、国内特許（2001-174582）、国際特許（FPA-2093-US）を取得しています。

コラージュの発展

この手法は、別名「多次元フォトコラージュ」とも名づけています。フォトコラージュとは、美術の世界で、２次元のキャンパスに写真を切り取って貼り付けていく方法です。このコラージュを、コンピューターのなかで行うことで、写真を歪めながら貼り付けていき、インタラクティブな擬似３次元空間を構成することができます。美術のフォトコラージュと同様に、過去の写真と現在の写真、自分の写真と他人の写真、あるいは写真と絵画など、あらゆるメディアをミックスさせて空間を構成していくことができます。作り方によっては、ビデオや映画のような、時間に伴う変化や、複数の視点を切り替える変化、あるいは分かれ道をもうけて迷路的にコンテンツを作成するなど、さまざまなクリエイションの可能性を秘めています。

多次元って？

フォトコラージュ技法は、巨匠デヴィット・ホックニーの「Moving Focus」シリーズによって、単一の視点によらない、多角的・多視点的な表現として完成の域に達しました。現在でも、さまざまな試みが世界中で継続されています。 Simran SinghGleason氏の"Enfolding Perspectives: Photographic Collage"には、それらの技法を駆使した作品群を見ることができます。"STAMP"の技法は、それらフォトコラージュのテクニックを引き継ぎ、コンピューターのスクリーンのなかに、従来の直交３座標軸によらない、個々の認識に基づいた「多次元空間」を表現するものだともいえます。みなさんも、是非この表現を用いて、新しい自分なりの空間表現を作ってみてください。

デジタルカメラを使って・・・

最近、デジタルカメラは爆発的な勢いで社会に普及しています。多くの人が、大量に、短時間で、写真を収集することのできる環境が整ったといえるでしょう。その「量」（数）と「手軽さ」はかつての比ではありません。それに伴ってデジタルカメラで撮影した写真の利用方法も、新しくなってきています。たとえば、撮った写真を、直接メールで相手に送ってコミュニケーションをしたり、インターネット上に公開して共有したり、あるいは、VJ的なエフェクトを使った鑑賞もますます加速してきています。そのようななか、写真を１枚１枚独立にではなく、ある「まとまり」として整理するためのツールとしても、"STAMP"を使うことができます。これを使えば、写真を空間的に整理し、また空間内を移動するような感覚で、見て周ることができます。ある意味では、"STAMP"は、「実空間のアルバムツール」（空間のアルバム化/アルバムの空間化）でもあるのです。

インターネットの閲覧

さて、インターネットの基本原理は、「ハイパーリンク」です。通常のブラウザでは、リンクに繋がったページを１ページずつ順番に繰っていくことで閲覧していきます。しかし、もしもリンクが繋がっている先のページが薄く半透明に表示されていたらどうでしょうか。つまり、現在「注視しているページ」と「これから進む先のページ」を、同時に見渡すことが出来たら、ブラウジングはより便利になるのではないでしょうか。これは、データベースをどう見せていくか、というインターフェイスの問題であるといえます。"STAMP"は、インターネット上に存在する写真画像をハイパーリンクで結びつけて、それらを、注視している写真（不透明）とこれから移動する写真（半透明）を同時に表示してあげる技術です。これは通常のVR(ヴァーチャル・リアリティー）における「FOG(霧）」のような効果とほぼ同じなのです。

アニメーションの挿入

もうひとつのポイントは、「アニメーション」です。インターネットでページを切り替える場合、普通は瞬間的に切り替わってしまいますが、そこに「移動の表現」を加えてみたらどうでしょうか？"STAMP"では、そこにモーフィングを使ったアニメーションを表示し、人間の移動感覚を出しています。このように、"STAMP"は、一種の新しいブラウザの提案でもあります。「本」を模した現在のインターネットブラウザ、それから「都市」を模したVRML等のインターネットブラウザの提案がありましたが、STAMPは、人間の記憶空間の特性に近いのではないか？というような指摘もいただいています。次なる課題は、その移動速度、ということになるでしょうか・・・。

ビデオと比べて

「STAMPはビデオとどう違うのか？」というようなご指摘をよくいただきます。それに対して、次のようにお答えすることにしています。

「ビデオは、時間的に幅を持った記録方法です。それに対して、写真は、「人間に印象に残った瞬間だけを切り取る」という意味で、重要なシーンだけを選択している性質があります。ですから、STAMPのほうが、ビデオよりも、その人が体験した重要なシーンをうまく伝達できる可能性があるのではないでしょうか？。」とはいえ、STAMPでは、ビデオも扱える方法を用意しています（公開準備中）。他に、テキスト投稿（BBS)型STAMP、地図との連携を行なうSTAMP、QuickTime VRやIBNRとの連携を行なうSTAMPなど、さまざまな連携機能を現在開発しようとしています。Web上で、あらゆるデータを「空間的」に連携させようとすることがこの一連のプロジェクトの目標です。

建築の記録として

建築の情報は、これまで雑誌などでの「写真」として伝達されるのがほとんどでした。それに伴い「写真的な建築」が生まれ、建築のカタログ化が進んでくるという共犯関係があったという意見もあります。さて、WEBを使った建築情報の流通は、まだはじまったばかりです。現在のところ、写真をWEBで公開するタイプのものが多いのですが、仮想３次元空間などや図面を使った、新しい建築情報の編集も試みられています。

"STAMP"も、建築情報の伝達という部分に寄与するツールの一種であると思います。しかも、「シークエンス」（動線に伴う視界の変化）を記述するのには最適であると考えられます。逆に、「STAMP的な建築」というのが発見されると、面白いと思い、いろいろとプロジェクトを進めています。

認知科学的な側面から

最後になりますが、なぜSTAMPは３次元的に奥行きをもって見えるのでしょうか？実際には３次元情報をもっていないため、それは錯覚にすぎません。錯覚を起こすポイントは、画像の「変形」という一点にかかっています。

「伝統的な知覚理論は一貫して「形」の論理で知覚を説明してきた。しかし「動き」が情報になるということは、「形」ではなく「変形」に意味があることを示している。知覚研究が基礎としてきた「形」とは幾何学の単位である。なぜ知覚研究はいつまでも特定の幾何学にこだわる必要があるのか。知覚者が対象の変化から見ているのは「形(Form)」ではなく対象そのもの、それのリアルな「姿(Shape)」である。「姿」は、形からではなく、それ自体は形をもたない「変形」から知覚されるのだ。」

佐々木正人　「アフォーダンス」

コンピューター内の空間、インターフェイス、それを見るユーザの記憶、写真というものの性質、などを突き詰めていくと、結局、人間の認識や知覚の問題へと行き着きます。STAMPは、不完全な仮想３次元空間ですが、「人間が自動的に情報を補って理解する」（理解しようとする）という性質を用いた、極めて認知的性質を活かした表現であるともいえるのではないでしょうか。

What is Photowalker?

Walking photographs

PhotoWalker is a temporary name of the web site for virtual walk-through contents created by using a brand-new image technology 'STAMP' (Spatio-Temporal Association with Multiple Photographs). This is developed at the Center for Spatial Information Science (CSIS) of University of Tokyo. We named this site after impression of the technology: you may feel you are walking in photographs or the photographs are walking. If you want to experience this, select one of the contents in World Map and get in the world of PhotoWalker.

Progress of virtual reality

In these years, thanks to technologies, a lot of people are enjoying virtual reality in their computers. Image-based approach is one of the virtual reality technologies, which creates the virtual world by using only photographs. Among them, a well-known method is QuickTime-VR (panorama VR/object VR) of Apple Computer, Inc. In this method, however, there are some problems of the operations to restrict free movement; for example, you may not move into deeper side of photographs (different from zooming in/out). STAMP has solved this problem by allowing vague joint of spaces, so as to move anywhere in photographs. For this technology, we obtained national patent (2001-174582) and international patent (FPA-2093-US).

Expansion of collage

Our technique is also called 'multi-dimensional photo collage'. Photo collage, in art world, is the method of making a picture by sticking pieces of photographs onto a 2-dimensional canvas. If this method is implemented in a computer, pieces of photographs are skewed and stuck to build an interactive pseudo 3-dimensional space. In the same manner as photo collage of fine art, you may build a space by mixing any kind of media. For example, you may mix old and recent photographs, photographs of your face and other's face, or photographs and paintings. If you arrange the technique, this method has great potential to create various contents to represent transformation over time like videos or movies, shift of multiple viewpoints, or selection of the ways to go like a maze.

What is multi-dimension?

Perfection of the technique of photo collage came from Moving Focus series of old master David Hockney, as diversified representation with multiple viewpoints. Even at present, a lot of engineers in the world have been trying various approaches for this technique. Simran Singh Gleason uses full advantages of the photo collage technique in his works, Enfolding Perspectives: Photographic Collage. We may say that, STAMP takes over their techniques of photo collage and materializes multi-dimensional spaces in a computer screen, which are built on individual cognition and are independent of orthogonal three axes. We recommend that you produce new spatial representation of yours by using STAMP.

Using a digital camera...

Digital cameras become widely used recently. Its spreading speed is explosive. We should say that the environment has been completed in which lots of people may collect vast amount of photographs in a short period of time. The quantity (number) and the facileness is beyond the comparison to the past. Along with this expansion, the usage of those photographs has been changing. For example, a photograph is attached to an e-mail or it is released on the Internet; furthermore, appreciating photographs through VJ effects becomes much more popular than ever. Beside such usage, STAMP is useful to arrange photographs in aggregate, not to treat them as separate ones. STAMP enables you to arrange photographs spatially so that you view around the space of those photographs as if you move around in that space. STAMP, in a sense, is the tool for a real-space photo album (creating a photo album from space or creating a space from a photo album).

Browsing pages on the Internet

The radical principle of the Internet is 'hyperlink'. On a normal browser, pages are browsed by tracing their links one by one. If, however, you can browse a subsequent page in semitransparent image on the current page, in other words, if you can view the current page and subsequent pages at the same time, does web browsing become much more convenient? This can be the problem of interface -- how to present database. STAMP is the technology that combines photograph images on the Net with hyperlinks and displays those images, the current photograph (opaque image) and subsequent (semitransparent image), at the same time. This is almost the same as the FOG effect of virtual reality in usual cases.

Introduction of animation

Another feature of STAMP is 'animation'. When you move from a page to another on the Internet, the screen images are changed in a moment. If, to this change, transition representation is applied, how would it be? STAMP introduces morphing technique between pages to represent smooth transition based on human eyes, which is recognized as a suggestion of a new type of browser. Up to the present, the current Internet browser was suggested as an imitation of 'book' and VRML was suggested as an imitation of 'city'. Some user of STAMP pointed out that STAMP is close to characteristics of human memory space. So it turns out that the next subject of STAMP development is transition speed?

Comparison with videos

What is the difference between STAMP and video? This is one of the frequently asked questions. To this question, we always answer as follows: "Video is a recording method provided with time width; photograph, in contrast, collects significant scenes by picking up only impressive moments. Therefore, STAMP has more potential for communicating those scenes with others." Although we answer in this way, STAMP provides the method to use videos, which is in preparation for release. In addition, we are planning to develop various functions: BBS-type STAMP, STAMP operated in association with maps, QuickTime VR, or IBNR. In a series of STAMP projects, we are aiming at associating any kind of data 'spatially' on the Web.

As a record of architecture

Photographs on magazines were the tools in most cases to provide architectural information. This caused photographic architecture to reach cataloging of architecture. There were some opinions that photographs and architecture had complicity in a crime.

Distribution of architectural information via the Internet has just begun. At present, in most cases, photographs are just presented on the Web, while new approaches have been tried; such as editing of architectural information by using virtual 3-dimensional space or technical drawings. We think that STAMP also contributes to communication of architectural information, and it is the best technique to describe 'sequence' that represents transition of view along with traffic lines. It will be interesting if STAMP-like architecture is discovered in the near future, which is one of our motives to push our project ahead.

From the viewpoint of cognitive science

In closing, I have one question here to you: Why STAMP provides views with 3-dimensional depth? This is because the depth is nothing but an illusion since there is no information of 3-dimension in photographs. Then, what fosters illusions in your mind? That is just 'transformation' of images.

Conventional theory of perception had consistently explained perception through the theory of form. Since, however, 'movement' makes information, what turns out to be significant to perception is 'transformation', not 'form'. 'Form', the basis of research of perception, is the unit of geometry. Why has research of perception been sticking to particular geometry? What is viewed through changes of targets is not 'form', but the targets themselves, their real 'shape'. 'Shape' is perceived, not by 'form', but by 'transformation' that has no particular form.

Masato Sasaki, "Affordance"

Space in a computer, interface, memory of users who view the space, characteristics of photographs... If we seek the essence of those things, we reach the problem of recognition or perception of human beings. STAMP is still incomplete to represent virtual 3-dimensional spaces. Despite this, isn't it possible to say that STAMP is the representation method that extremely takes advantages of human cognitive features by using its nature of automatic compensation to (try to) perceive given information.