We developed a system that provides a virtual walking experience to a seated person by real-time synthesis of a walking avatar and its shadow on a 360-degree video with vibrations to the feet. The shadow of the avatar induces an illusory presence of their body. In the future, it is expected to provide an immersive experience for any recorded medium with a virtual embodiment..
本研究では、360度の実写動画（8K解像度）に歩いているアバターとその影をリアルタイムに合成し、足裏への振動と組み合わせることにより、歩行体験が強化することを明らかにしました。また、アバターの影は、360度動画中には本来存在しない、自身の身体の存在を思い起こさせました。将来的には、実写で記録された過去の空間メディアへ、自身の身体感覚ごと没入できる体験が提供できると期待されます。
Published in Nakamura, J., Ikei, Y., and Kitazaki, M. (2023). Effects of self-avatar cast shadow and foot vibration on telepresence, virtual walking experience, and cybersickness from omnidirectional movie, i-Perception, 15(1). https://doi.org/10.1177/20416695241227857

The study investigated how synchronizing visual and motor experiences in Virtual Reality (VR) affects a person's sense of embodiment with avatars, even when the avatars have unnatural arm movements or biomechanically impossible arm movements. They found that temporal synchronization increased the feeling of embodiment for both natural and unnatural avatars, even when their movements did not match the user's expectations of a human body.
本研究では、バーチャルリアリティにおいて視覚と身体運動を同期させることが、アバターが不自然な腕の動き（生物力学的に不可能な腕の動き）をしている場合であっても、そのアバターを自己身体化できるかを調べた。その結果、自然なアバターでも不自然なアバターでも、時間的同期があれば、普通の人体の動きと一致しない場合でも、身体所有感が高まることがわかった。
Published in Hapuarachchi, H., Ishimoto, H., Sugimoto, M., Inami, M., and Kitazaki, M. (2023). Temporal visuomotor synchrony induces embodiment towards an avatar with biomechanically impossible arm movements, i-Perception doi: 10.1177/20416695231211699

In a virtual-reality study, researchers have discovered that humans are capable of experiencing empathic embarrassment when witnessing robots go through embarrassing situations. The study utilized a combination of subjective ratings and physiological measurements to quantitatively assess the extent to which humans feel empathic embarrassment towards robots.
人間とロボットの複雑な相互作用を解明するためのバーチャルリアリティを使った研究で、ロボットの恥ずかしい状況を目撃したとき、人間は共感的恥ずかしさを感じることができることを発見しました。この研究では、主観的評価と生理学的測定を組み合わせて、人がロボットアバターに対して共感的恥ずかしさを感じる程度を定量的に評価しました。
Published in Hapuarachchi, H., Higashihata, K., Sugiura, M., Sato, A., Itakura, S., and Kitazaki, M. (2023). Empathic embarrassment towards non-human agents in virtual environments, Scientific Reports. 11:13914 doi: 10.1038/s41598-023-41042-3.

Virtual co-embodiment of a hand and fingers averaged by the teacher's and the participant's hands.
While we have studied whole-body sharing by averaging or sharing the left and right halves of the body, this time we have averaged the hands and fingers of two people. In this paper, however, we can experience an avatar hand as an average of the recorded model hand and our own hand movements. Using this shared hand to imitate the model's sign is subjectively easier and behaviorally easier, especially with less movement latency. Note that we did not analyze the hand movements of the shared body avatar, but the movement data of the real own hand while using the shared body. We also examined the effect of the orientation of the teacher's hand. Subjectively, it is easier to have the same orientation as your own hand, but spatial accuracy is better when you can see the palm of the teacher's hand.
手の共有身体（合体）の研究です。これまで全身の合体を調べて、平均したり左右半身を分担したりしていましたが、今回は2人の手と指を平均しました。ただし、この論文では、記録されたお手本の手の動きと自分の手の動きを平均したものを自分のアバターとして体験しています。この共有身体の手を使ってお手本の手話を真似ると、主観的にやりやすく、行動的にも特に動きの遅延が少なくなりす。なお、分析したのは、共有身体アバターの手の動きではなく、共有身体を使っているときの本当の自分の手の動きデータです。お手本の手の向きの効果も調べていて、主観的には自分の手と同じ向きがやりやすいのですが、空間精度（指の角度の一致度）はお手本の手の平が見えている方が良いです。
Published in Katsumata, Y., Inoue, Y., Toriumi, S., Ishimoto, H., Hapuarachchi, H., and Kitazaki, M. (2023). Shared Avatar for Hand Movement Imitation: Subjective and Behavioral Analyses. IEEE Access, DOI: 10.1109/ACCESS.2023.3312179

Embodiment towards a joint-body limb controlled by another is increased by connection force feedback.
Even if we cannot control them, or when we receive no tactile or proprioceptive feedback from them, limbs attached to our bodies can still provide indirect proprioceptive and haptic stimulations to the body parts they are attached to simply due to the physical connections. To investigate this issue, we developed a 'Joint Avatar' setup in which two individuals were given full control over the limbs in different sides (left and right) of an avatar during a reaching task. The backs of the two individuals were connected with a pair of solid braces through which they could exchange forces and match the upper body postures with one another. Our results suggest that even in total absence of control, connection induced upper body movements synchronized with the visible limb movements can positively affect the sense of embodiment towards partner-controlled or autonomous limbs.
四肢を制御できない場合、あるいは手足から触覚や固有受容感覚を得られない場合でも、身体に取り付けられた四肢は、その物理的な接続により、取り付けられている身体の部位に間接的に固有感覚や触覚の刺激を与えることが可能です。我々は2人の人が左右の半身を別々に制御することができる結合身体アバターを開発し、リーチングタスク実験を行いました。二人の背中は一対の固い装具で接続されており、この装具を通して力を交換しました。実験の結果は、自分が制御できない場合でも、目に見える四肢の動きと同期した接続による力触覚フィードバックによる上半身の動きが、パートナーが制御する四肢または自律的な四肢に対する身体感覚にポジティブな影響を与えることを示しました。。
Published in Hapuarachchi, H., Hagiwara, T., Ganesh, G., and Kitazaki, M. (Accepted). Effect of connection induced upper body movements on embodiment towards a limb controlled by another during virtual co-embodiment. PLoS One, 18(1): e0278022. DOI: 10.1371/journal.pone.0278022

Virtual co-embodiment of a joint body with left and right limbs controlled by two persons.
What factors influence the embodiment felt towards parts of our bodies controlled by others? Using a new “joint avatar” whose left and right limbs are controlled by two people simultaneously, researchers have revealed that the visual information necessary to predict the partner’s intentions behind limb movements can significantly enhance the sense of embodiment towards partner-controlled limbs during virtual co-embodiment. This finding may contribute to enhancing the sense of embodiment towards autonomous prosthetic limbs.
バーチャルリアリティを用いて、2人のユーザーが1つのアバターの左右の半身を操作する結合身体アバターを開発しました。しかし、他者が操作する身体部位をどのようにしたら自己身体と感じられるのでしょうか？　実験により、他者が操作する腕に対する身体性は、自分が制御する腕に比べて低いものの、他者の意図を予測する視覚情報があれば、他者が操作する腕に対する自己身体感を高めることができることを明らかにしました。将来的には、自律駆動する義肢に感じる違和感を減らす設計にも貢献することが期待できます。
Published in Hapuarachchi H., and Kitazaki, M. (2022). Knowing the intention behind limb movements of a partner increases embodiment towards the limb of joint avatar, Scientific Reports, DOI: 10.1038/s41598-022-15932-x

Virtual Walking with Omnidirectional Movies and Foot Vibrations.
We have developed a virtual walking system for seated observers with 360° video and scene-congruent foot vibrations. The timing of foot vibrations was automatically calculated from the 360° video. They found that rhythmical scene-congruent vibrations improved the sensation of walking and the perception of ground materials. This system can convert various public and private 360° videos into realistic virtual walking experiences.
360°動画を用いて座っている観察者のためのバーチャル歩行システムを開発し、歩行感覚や地面の材質の知覚が，シーンに調和した振動によって強化されることを明らかにしました。本システムを用いると，様々な360度動画をリアルなバーチャル歩行体験に変換することができます。
Published in Nakamura, J., Matsuda, Y., Amemiya, T., Ikei, Y., and Kitazaki, M. (2021). Virtual Walking with Omnidirectional Movies and Foot Vibrations: Scene-congruent Vibrations Enhance Walking-related Sensations and Ground Material Perceptions. IEEE Access, DOI: 10.1109/ACCESS.2021.3136557

The effects of body direction and posture on taking the perspective of a humanoid avatar in a virtual environment.
We investigated the effects of body direction and posture on whether employing a humanoid avatar as the viewpoint would facilitate an imagined perspective shift in a virtual environment, and which factor of the avatar is effective for the facilitation effect. The perfomamce was improved by the avatar in forward posture, not affected by occluding the head of the avatar, but deteriorated by impossible postures. These results suggest that explicit perspective taking is facilitated by embodiment towards humanoid avatars.
アバターの身体の向きや姿勢が明示的な視覚的視点取得にどのように影響するかを調べました。明示的な視覚的視点取得（ある対象をある方向からどう見えるかを答える）は，アバターがその対象を向いている場合に促進されたが，頭部が隠されていても成績に影響はありませんでした。しかし，頭部と身体が逆を向いているような不可能身体では成績が下がりました。したがって，人型アバターの身体性が視点取得に重要であることが示唆されました。
Published in Ueda S, Nagamachi K, Nakamura J, Sugimoto M, Inami M, Kitazaki M (2021) The effects of body direction and posture on taking the perspective of a humanoid avatar in a virtual environment. PLoS ONE 16(12): e0261063. https://doi.org/10.1371/journal.pone.0261063 https://doi.org/10.1371/journal.pone.0261063

Peripersonal space in the front, rear, left, and right directions for audio-tactile multisensory integration.
We investigated audio-tactile multisensory integration near the body using touch detection with task-irrelevant approaching and receding sounds in all directions: front, rear, left, and right. The tactile stimulus was detected faster near the body space than far from it when a sound approached from any direction. Thus, peripersonal representations exist with approaching sound, irrespective of direction.
身体近傍での聴覚と触覚の多感覚統合について，前後左右から接近あるいは後退する音を用いて調べました。触覚刺激は接近してくる音源が身体の近くにあるときに遠くにあるときよりも素早く検出され，その効果は前後左右全ての方向で見られました。したがって，身体近傍空間における多感覚促進処理は，接近音に対して方向に依存せず存在すると言えます。
Published in Matsuda, Y., Sugimoto, M., Inami, M., Kitazaki, M. (2021). Peripersonal space in the front, rear, left and right directions for audio-tactile multisensory integration. Scientific Reports, 11: 11303. https://doi.org/10.1038/s41598-021-90784-5

Enhancing virtual walking sensation using self-avatar in first-person perspective and foot vibrations.
We have developed a virtual walking system for seated observers and have revealed that walking self-avatars improve the illusory walking sensation by integrating foot-vibration simulating footsteps. The walking-avatar is presented in the first-person and mirrored perspectives, to induce a sense of body ownership. This system provides a virtual walking experience to people with walking disabilities.
座っている人にバーチャル歩行体験を提供するシステムを開発し，歩いているアバターと足裏への振動の組み合わせによって歩行感覚の錯覚を増強できることを示しました。歩いているアバターは一人称視点と鏡の中に見え，それを自己身体と感じることができました。将来的には，このシステムが歩行困難者にもバーチャルな歩行体験を提供するものとなることが期待されます。
Published in Matsuda, Y., Nakamura, J., Amemiya, T., Ikei, Y., Kitazaki, M., 2021. Enhancing virtual walking sensation using self-avatar in first-person perspective and foot vibrations, Frontiers in Virtual Reality, https://doi.org/10.3389/frvir.2021.654088

Individuals prioritize the reach straightness and hand jerk of a shared avatar over their own.
Two participants were embodied within a shared avatar in virtual reality. Movements of the shared avatar were the average of the participants' movements. They were asked to reach a target via the shared body. In the results, avatar’s hand movements were straighter and less jerky than those of the participants. Thus, humans prioritize the movement of a shared body over their own movements. A shared body can be a new collaboration method in the future. バーチャルリアリティ（VR）空間において、2人が1つのアバターを共有して共同作業を行うシステムを開発しました。この共有身体アバターの動きは、2人の参加者の動きを平均して生成しました。これを用いて、ランダムな位置に現れる物体に手を伸ばす動作を行うと、共有身体アバターの動きは、共有身体アバター操作者の動きや共有身体でない場合の参加者自身の動きよりも直線的で滑らかになることが分かりました。この理由は、操作者が、自分自身の動きよりも、共有身体の動きを無意識に最適化し、優先するためと考えられます。この知見は、VRやロボティクスを用いた身体の共有による新しい共同作業方式の提案と基礎設計に貢献することが期待されます。
Published in Hagiwara, T., Ganesh, G., Sugimoto, M., Inami, M., and Kitazaki, M. (2020). Individuals prioritize the reach straightness and hand jerk of a shared avatar over their own. iScience, doi: 10.1016/j.isci.2020.101732

Differences between whole body and body part ownership were clarified using scrambled body stimulation in a virtual environment, wherein the observer’s hands and feet were presented in randomized spatial arrangements. バーチャルリアリティ空間でのスクランブル身体刺激を用いて全身所有感と身体部位所有感の違いを明らかにしました。スクランブル身体刺激とは，観察者の手と足のみを提示し，それらの空間的配置をランダムにしたものです。全身を動かしながらスクランブル身体刺激を観察すると手と足に対する身体部位所有感は生じますが，全身所有感を感じることはできず，全身所有感には通常の身体と同様の空間的配置を持つ身体刺激が必要でした。この結果は，全身所有感の錯覚には空間的配置が重要であることを示唆します。また，人の身体的自己意識は，通常の人がもつ身体の空間的配置に影響を受けている可能性があります。
Published in Kondo, R., Tani, Y., Sugimoto, M., Inami, M., and Kitazaki, M. (2020). Scrambled body differentiates body part ownership from the full body illusion. Scientific Reports, 10, DOI: 10.1038/s41598-020-62121-9

Users can ineractively learn and experiene infection by cough. VRを用いて，咳からどのように病原菌が感染するかを体験し，感染症の予防に貢献します。うつす・うつされる両方の体験が可能で高い教育効果が期待できます。咳の飛沫感染のみならず，接触感染・空気感染も体験できます。豊橋市健康政策課の企画に基づき，専門家の知識を得て作成しています。

Oscillating optic flow with rhythmical foot vibrations induces a virtual walking sensation. Virtual walking can be captured by a walking person in a remote location, or generated from a traslational motion images. 周期的に振動するオプティックフローに足裏振動を組み合わせることで，バーチャル歩行体験を実現します。遠隔地で実際に歩行する人の体験を追体験することもできますし，さまざまな移動映像から自動的に生成することも可能です。
Published in Kitazaki et al. (i-Perception 2019)

Virtual reality enables us to experience an ownership of invisible body by vision and action synchronization. バーチャルリアリティを用いて，自分の身体が透明になり，目の前の離れた位置にあるように感じさせることができます。頭部搭載型ディスプレイ（HMD）で目の前に提示した手袋と靴下が自分の運動と同期していると，しばらくするとそこに透明な自分の身体が感じられるようになります。
Published in Kondo et al. (Scienific Reports 2018)

Posture is controlled by vestibular and visual sensation processing. We showed that a long-term adaptation can modify weights of vision and vestibular senses to control posture. 視覚と前庭感覚が姿勢制御に使われています。視覚運動と電気前庭刺激（GVS）を組み合わせて長期順応することで，視覚と前庭感覚が姿勢制御に及ぼす貢献度を変えることが可能であることを示しました。
Published in Kitazaki and Kimura (Presence2010).

Perception of glossiness is improved when the object is moving and the observer is moving. 物体の光沢感は，それが運動しているときのみならず，観察者自身が運動しているときにも増すことを示しました。
Presented in Tani et al (PLoS One 2014)

As a trial of "body editing", we are trying to remap a finger of the right hand to the left arm. Participants feel the virtual arm as another arm. 身体編集の一例として，右手の親指を左腕に再投射できるかを調べています。指とバーチャルな腕が同期して運動すると，バーチャルな腕が自分の腕であるかのように感じられます。
Published in Kondo et al (Frontiers in Robotics and AI 2020) [Video/動画].

Perception of a thick transparent object like glass is improved by its motion. ガラスのような厚みのある透明物体は，それが運動していると知覚される透明感が増すことを示しました。
Presented in Ueda et al (VSS2015)

You can travel through the body to learn inner organs. 食物になって消化器官内部を匍匐前進で体験し，学習することができます。
Presented in Fujisawa et al (AH2017). 国際学生バーチャルリアリティコンテストIVRC2016決勝進出

Published in 藤澤ら (TVRSJ 日本バーチャルリアリティ学会論文誌 2019)

Driving simulator is contolled by human EEG (SSVEP). 定常視覚誘発電位によって転舵角を定量的に操作する脳機械インタフェースの実装です。
Published in 安藤ら (TVRSJ 日本バーチャルリアリティ学会論文誌 2010) [Video/動画].

Gaze is decetted by human EEG (SSVEP) in AR. AR環境での脳機械インタフェースの実装を目指して，実画像のコントラスト修飾からSSVEPを惹起させ，視線を推定するものです。
Published in 鎌谷ら (TVRSJ 日本バーチャルリアリティ学会論文誌 2013).